Un Wii Remote che controlla gli elettrodomestici puntandovi contro, con un piccolo classificatore IA

GreatScott! mostra come ha riprogettato un vecchio Wii Remote in modo che possa accendere e spegnere i dispositivi verso cui viene puntato. L'idea nasce dal progetto open source OpenMate e dal suo precedente lavoro, in cui insegnava a un piccolo robot a seguire un prato usando una rete neurale.

La sua conclusione è che il concetto funziona come prova di fattibilità, ma non è ancora abbastanza affidabile per l'uso quotidiano. Afferma che servirebbe un chip acceleratore IA dedicato per renderlo più veloce e preciso.

Partire da un telecomando open source

Il progetto è nato con OpenMate, un design open source che trasforma la scocca di un Wii Remote in un telecomando universale con Wi-Fi, Bluetooth, infrarossi e rilevamento del movimento. Il creatore spiega che la parte degli apparecchi era già pronta: le sue luci, la TV e le tapparelle sono collegate a relè e prese intelligenti Shelly, controllati tramite Home Assistant. Un'automazione di Home Assistant ascolta un topic MQTT e reagisce ai messaggi inviati da un microcontrollore.

Invece di aggiungere etichette o riflettori a ogni dispositivo, ha scelto di risolvere il problema via software. Ha riutilizzato l'approccio di un precedente progetto di robot e ha addestrato una rete neurale convoluzionale, un tipo di classificatore di immagini, per riconoscere quale dispositivo il telecomando sta puntando.','

Addestrare un piccolo classificatore di immagini

Ha definito sette classi: luce della cucina, luce del corridoio, tapparella grande, tapparella piccola, TV, lampada da terra e una classe sconosciuta. Sono state scattate circa 150 foto per classe, a diverse distanze, angolazioni e livelli di luce, per un totale di 1.107 foto. Il modello è stato addestrato con TensorFlow e Python, usando l'80 percento delle foto per l'addestramento e il 20 percento per la validazione.

Ha addestrato lo stesso modello 50 volte, perché i risultati variano, e la migliore accuratezza di validazione è stata dell'87,78 percento. La quantizzazione del modello a 8 bit non ha ridotto l'accuratezza nel suo test successivo e lo ha ridotto a circa 34,9 kilobyte, abbastanza piccolo per l'ESP32.','

Montare l'elettronica nel telecomando

All'interno della scocca originale c'era poco spazio libero. Il suo primo piano, alimentare la scheda con due batterie AA, non ha funzionato, perché il convertitore boost non riusciva a fornire picchi di corrente superiori a 300 milliampere. La tensione calava e il microcontrollore continuava a riavviarsi. Ha sostituito le batterie con una piccola batteria LiPo collegata direttamente alla scheda ESP32, ricaricabile tramite USB.

La telecamera è stata spostata e dotata di un cavo flat più lungo. Il pulsante Home ora avvia una foto e il riconoscimento, un cicalino conferma una classe valida e il pulsante A attiva o disattiva l'apparecchio selezionato. Ha saldato direttamente i contatti dei pulsanti, perché i pad originali erano difficili da raggiungere.','

Risultati nell'uso reale e limiti

Nell'uso reale ha constatato che il telecomando funziona circa due volte su tre. Osserva che le sei classi target sono abbastanza distinte, e che aggiungere più tapparelle quasi identiche potrebbe compromettere rapidamente il concetto. Il modello classifica l'intera scena anziché i singoli oggetti, quindi anche lo spostamento dei mobili può ridurre l'accuratezza.

La velocità è un secondo limite. Anche il piccolo modello richiede circa 1,4 secondi per immagine sull'ESP32, dopo che le immagini sono state ridotte a 96 per 96 pixel. Un modello a risoluzione più alta sarebbe probabilmente più preciso, ma richiederebbe molta più potenza di elaborazione, ed è per questo che desidera un microcontrollore piccolo ed economico con accelerazione IA dedicata.'