TonyPi Pro, modułu WonderEcho i dysk SSD PCIe NVMe oraz akceleratora Hailo-8L

Mam przyjemność zaprezentować kolejne modyfikacje robota TonyPi Pro firmy Hiwonder, opartego na komputerze jednopłytkowym Raspberry Pi 5 z 8 GB RAM.

Wprowadzone zmiany:

• instalacja modułu WonderEcho Pro AI Voice Interaction Box, który miał wspierać sterowanie głosowe (mikrofon i głośnik) oraz integrację z dużym modelem językowym (LLM),

• zastąpienie karty microSD (dotychczas wykorzystywanej do uruchamiania systemu) dyskiem SSD PCIe NVMe oraz dodanie akceleratora Hailo-8L poprzez zastosowanie nakładki Pineboards AI Bundle.

W przesłanej aktualizacji robota znalazł się nie tylko moduł WonderEcho z przewodem USB, ale również nowe tylne plecy obudowy. Nowa obudowa nie tylko posiada cztery otwory montażowe dla modułu, ale jest także głębsza, z powiększonym wycięciem zapewniającym lepszy dostęp do portów. Dzięki temu możliwe jest wykorzystanie wszystkich portów USB oraz Ethernetu — wcześniej dostępne były jedynie dwa porty USB!

Większa głębokość tylnej obudowy umożliwiła również bezproblemową instalację nakładki AI Bundle pod płytą Raspberry Pi, bez konieczności ingerencji w konstrukcję. Wystarczyło jedynie wywiercić dodatkowe otwory, aby przymocować nowe plecy do korpusu robota.

Niestety, potwierdziło się, że moduł WonderEcho obsługuje jedynie język angielski i chiński, a wydawanie poleceń możliwe jest tylko w tych dwóch językach. Co więcej, aktualizacja modułu wymaga przejścia dość skomplikowanego procesu. Dodatkowym minusem jest jakość zastosowanego mikrofonu – nie spełnił moich oczekiwań. Na szczęście zintegrowany głośnik działa poprawnie. Obecnie nadal korzystam z zewnętrznego mikrofonu USB, podłączonego za pośrednictwem huba.

Jak obecnie działa robot wykorzystując LLM w następnym poście :)

TonyPi i analiza obrazu z kamery za pomocą AI.

 W poprzednich odcinkach pokazywałem jak za pomocą głosu można sterować robotem TonyPi Pro firmy Hiwonder. Wspominałem również, że można za pomocą poleceń słownych uzyskać odpowiedz z AI. 

Firma Hiwonder przygotowała moduł WonderEcho Pro AI Voice Interaction Box, którego zadaniem ma być wsparcie sterowania głosem oraz LLM.

Ograniczeniem jest jednak dodatkowe oprogramowanie zarządzające modułem oraz ograniczenie do dwóch języków angielskiego i chińskiego. Przedstawiony nowy film pokazuje jak można to wykonać prościej. 

A to zdjęcie wykonane za pomocą kamery TonegoPi oraz jego interpretacja przy pomocy AI

TonyPi - kolejna modyfikacja

 Teraz po powitaniu podaje adres IP i włącza sterowanie głosem. Pozwala również na połączenie z AI :)

TonyPi kolejna zmiana

 Teraz Tony korzysta z wyświetlacza na ręce. Chodziło o podanie i wyświetlenie adresu IP. Niestety przy starcie systemu IP jest tylko wyświetlany głośnik nie zostaje połączony z raspberry przez bluetooth :(

Nadrabia to autostart podczas logowania :)

Kolejny problem to ilość kabelków do podłączenia różnych sensorów.

U mnie to MP3, sensor do pomiaru odległości i teraz wyświetlacz a są tylko 2 kabelki 4 pinowe!

 

Cześć dzisiaj trochę z innej beczki.

Film pokazuje moje ostatnie zabawy z małym programowalnym robotem opartym na Raspberry PI  5. RPI to mini komputer jednopłytowy firmy Raspberry Pi.  

RPI 5 jest umieszczony w szkielecie robota TonyPI sprzedawanym przez firmę Hiwonder.

Sprzedawana wersja jest dość ciekawa TonyPi Pro Hiwonder Humanoid Robot Professional Development Kit Powere. Pozwala ona na rozbudowę i modyfikację robota humanoidalnego. 

Ja korzystam z wersji Pro i Pytona. Rozbudowałem go o hab USB, aby zwiększyć ilość gniazd, która przez obudowę została ograniczona z 2 x USB2 i 2 x USB3 do 2 x USB3. Dodałem również prosty mikrofon, po USB.   

Dołączyłem również głośnik, ale po bluetooth co niestety trochę komplikuje rozwiązanie szczególnie w kontekście mobilności robota.

Co chciałem uzyskać:

•  Sterowanie głosem online, np. recognize_google oraz offline vosk, whisper …?
• Korzystanie z AI online oraz offline OLLAMA

Jak to u mnie działa filmik poniżej. Na razie TonyPi podłączony do Internetu.