Op het brein geïnspireerde AI is een gamechanger voor autonome robots

Een team van onderzoekers van de TU Delft heeft een drone ontwikkeld die autonoom kan vliegen met behulp van neuromorfe beeldvorming en besturing op basis van het functioneren van dierlijke hersenen. Dierenhersenen gebruiken minder stroom dan de huidige diepe neurale netwerken die op GPU’s (grafische chips) draaien. Daarom zijn neuromorfe processors zeer geschikt voor kleine drones, omdat ze geen grote en zware hardware of batterijen nodig hebben. De resultaten zijn veelbelovend: tijdens de vlucht verwerkt het diepe neurale netwerk van de drone met neuromorfe technologie gegevens tot 64 keer sneller en verbruikt het drie keer minder energie dan bij gebruik van een GPU. Toekomstige ontwikkelingen in deze technologie zouden ervoor kunnen zorgen dat drones een sprongetje kunnen maken en net zo klein, wendbaar en intelligent kunnen worden als insecten of vliegende vogels. De bevindingen zijn onlangs gepubliceerd in Science Robotics.

Leren van dierlijke hersenen: ‘spike’ neurale netwerken

Kunstmatige intelligentie heeft een groot potentieel om autonome robots te voorzien van de intelligentie die nodig is voor praktische toepassingen. De huidige AI is echter gebaseerd op diepe neurale netwerken die aanzienlijke rekenkracht vereisen. Processoren die zijn ontworpen om diepe neurale netwerken uit te voeren (Graphics Processing Units, GPU’s) verbruiken een aanzienlijke hoeveelheid stroom. Dit is vooral een probleem voor kleine robots, zoals vliegende drones, omdat ze maar een paar sensoren en rekenkracht kunnen vervoeren.

Dierenhersenen verwerken informatie op een heel andere manier dan de neurale netwerken die op GPU’s draaien. Biologische neuronen verwerken informatie asynchroon en communiceren voornamelijk via elektrische impulsen, die in het Engels ‘spikes’ worden genoemd. Omdat het verzenden van dergelijke pieken energie kost, minimaliseren de hersenen de pieken, wat leidt tot een slechte verwerking.

Geïnspireerd door deze eigenschappen van het dierlijke brein ontwikkelen wetenschappers en technologiebedrijven nieuwe neuromorfe processors. Deze nieuwe processors maken het mogelijk om neurale netwerken te laten draaien die naar verwachting veel sneller en energiezuiniger zullen zijn.

“De berekeningen die worden uitgevoerd door edge neurale netwerken zijn veel eenvoudiger dan die van standaard diepe neurale netwerken”, zegt Jesse Hagenaars, een promovendus en een van de auteurs van het artikel, “terwijl digitale edge neuronen standaard alleen maar getallen hoeven op te tellen neuronen vermenigvuldigen zich en voegen decimalen toe. Dit maakt het schalen van neurale netwerken sneller en energiezuiniger. Mensen vinden het immers veel gemakkelijker om 5 + 8 te berekenen dan om 6 te berekenen. .25 x 3,45 + 4,05 x 3,45.

Deze energie-efficiëntie wordt verder verhoogd wanneer neuromorfe processors worden gebruikt in combinatie met neuromorfe sensoren, zoals neuromorfe camera’s. Deze camera’s nemen geen beelden op met een vast tijdsinterval. In plaats daarvan zendt elke pixel alleen een signaal uit als deze helderder of donkerder wordt. De voordelen van deze camera’s zijn dat ze veel sneller beweging kunnen detecteren, energiezuiniger zijn en goed werken in zowel donkere als lichte omgevingen. Bovendien kunnen signalen van neuromorfe camera’s rechtstreeks naar actieve neurale netwerken worden gestuurd die op neuromorfe processors draaien. Samen zouden deze technologieën de ontwikkeling van autonome robots mogelijk kunnen maken, vooral kleine, wendbare robots zoals vliegende drones.

Eerste neuromorfe beeldverwerking (of: visie?) en besturing van een vliegende drone

In een artikel gepubliceerd in Science Robotics op 15 mei 2024 demonstreren onderzoekers van de Technische Universiteit Delft voor het eerst een drone die gebruik maakt van neuromorfe beeldvorming en besturing voor autonome vluchten. Concreet ontwikkelden ze een neuraal netwerk dat signalen van een neuromorfe camera verwerkt en omzet in besturingsopdrachten voor de drone. Ze implementeerden dit netwerk op een neuromorfe processor, Intel’s “Loihi” neuromorfe onderzoekschip, aan boord van een drone. Dankzij het netwerk kan de drone zijn eigen beweging detecteren en in alle richtingen besturen.

‘We stonden voor veel uitdagingen’, zegt Federico Paredes-Vallés, een van de onderzoekers die aan het onderzoek heeft meegewerkt, ‘maar het moeilijkste was het uitzoeken hoe we een goed en snel leerproces voor het piekende neurale netwerk konden maken. Wij ontwerpen een netwerk dat bestaat uit twee modules. De eerste module leert beweging visueel waarnemen aan de hand van de signalen van een bewegende neuromorfe camera. Dit is vergelijkbaar met hoe dieren zelfstandig leren de wereld waar te nemen. commando’s, in een simulator Dit gebeurde door kunstmatige evolutie in de simulatie, waarbij de netwerken de drone beter bestuurden en waarschijnlijker ‘nakomelingen’ zouden voortbrengen.

Gedurende generaties van kunstmatige evolutie hebben verrijkte neurale netwerken steeds meer hun controle verbeterd, waardoor ze uiteindelijk in staat waren een gesimuleerde drone in elke richting en met verschillende snelheden te vliegen. We hebben beide modules getraind en een manier ontwikkeld om ze samen te voegen. “We waren blij om te zien dat het gefuseerde netwerk meteen goed werkte op de echte robot.”

Met zijn neuromorfe besturing en beeldvorming kan de drone met verschillende snelheden vliegen onder verschillende lichtomstandigheden, van donker tot helder. Het kan zelfs vliegen met knipperende lichten, waardoor de neuromorfe camerapixels een groot aantal signalen naar het netwerk sturen die geen verband houden met beweging, iets waar het netwerk niet voor is getraind.

“Belangrijk is dat onze metingen het potentieel van neuromorfe AI bevestigen. Het netwerk draait gemiddeld tussen de 274 en 1600 keer per seconde. Als we hetzelfde netwerk op een kleine geïntegreerde GPU laten draaien, draait het gemiddeld slechts 25 keer per seconde, een verschil van een factor van ~10-64 Bovendien verbruikt Intel’s Loihi neuromorfe onderzoekschip 1.007 watt, waarvan 1 watt het “inactieve” vermogen is dat de processor verbruikt om het netwerk van stroom te voorzien Wanneer hetzelfde netwerk wordt gebruikt, verbruikt de geïntegreerde GPU 3 watt, waarvan 1 watt aan inactief vermogen en 2 watt wordt besteed aan het runnen van het netwerk. Dit resulteert in een “AI die sneller en efficiënter werkt, wat betekent dat dit mogelijk is.” werk. Het wordt gebruikt in veel kleinere autonome robots”, zegt Stein Stroobants, promovendus op het gebied van neuromorfe drones.

Toekomstige toepassingen van neuromorfe AI voor kleine robots

“Neuromorfe AI zal alle autonome robots slimmer maken”, zegt Guido de Croon, hoogleraar bio-geïnspireerde drones, “maar het is een absolute gamechanger voor kleine autonome robots. Wij werken bij de faculteit Luchtvaart- en Ruimtevaarttechniek van de Universiteit Delft. Technologie van kleine autonome drones die gebruikt kunnen worden voor toepassingen variërend van het monitoren van gewassen in kassen tot het monitoren van voorraden in magazijnen. De voordelen van kleine drones zijn dat ze heel veilig zijn en in krappe ruimtes kunnen navigeren, zoals tussen rijen tomatenplanten. Ze zijn erg goedkoop, waardoor ze in zwermen kunnen worden ingezet. Dit is handig om snel een gebied te herkennen, omdat we bijvoorbeeld mensen moeten redden of snel een gaslek moeten lokaliseren.”

“Het huidige werk is een belangrijke stap in deze richting. Het realiseren van deze toepassingen zal echter afhangen van het verder verminderen van neuromorfe hardware en het uitbreiden van de mogelijkheden ervan naar complexere taken zoals navigatie.”

Artikel:

“Volledig neuromorfe visie en controle voor autonome dronevluchten”, F. Paredes-Vallés, JJ Hagenaars, J. Dupeyroux, S. Stroobants, Y. Xu, GCHE de Croon, Science Robotics, 15 mei 2024.