Slimme hardware maakt het trainen van neurale netwerken eenvoudiger

ENGINEERINGNET.BE – Om de energie-efficiëntie van neuromorfe chips echt te benutten, is het het beste om de training rechtstreeks op neuromorfe chips uit te voeren.

Onderzoekers van de TU Eindhoven hebben onlangs aangetoond dat dit mogelijk is. Deze ontdekking zou kunnen leiden tot efficiëntere chips voor AI-toepassingen.

De grootste uitdaging voor de onderzoekers was het integreren van de belangrijkste componenten die nodig zijn voor training in één enkele neuromorfe chip.

“Een belangrijke taak was bijvoorbeeld het integreren van de componenten van het elektrochemische Random Access Memory (EC-RAM)”, zegt onderzoeker Yoeri van de Burgt.

“Dit zijn de componenten die de opslag van elektrische lading en het verzenden van signalen nabootsen zoals neuronen in de hersenen doen.”

De onderzoekers creëerden een tweelaags neuraal netwerk op basis van EC-RAM-componenten gemaakt van organische materialen. Ze testten de hardware met een evolutie van het veelgebruikte trainingsalgoritme, backpropagation met gradiëntafdaling.

“Het conventionele algoritme wordt vaak gebruikt om de nauwkeurigheid van neurale netwerken te verbeteren, maar wordt niet ondersteund door onze hardware. Daarom hebben we onze eigen versie gemaakt”, zegt medeonderzoeker Tim Stevens.

Omdat AI op veel gebieden en in een snel tempo energiebronnen verbruikt, is het bovendien voor veel toepassingen, van ChatGPT tot weersvoorspellingstoepassingen, verleidelijk om neurale netwerken te trainen op hardwarecomponenten tegen een fractie van de energiekosten.

Hoewel onderzoekers hebben aangetoond dat de nieuwe trainingsaanpak werkt, is de volgende logische stap het groter, krachtiger en beter maken van neurale netwerken. “We hebben laten zien dat dit werkt voor een klein netwerk met twee lagen”, zegt Van de Burgt.

“We willen nu de industrie en andere grote onderzoekslaboratoria erbij betrekken, zodat we veel grotere netwerken van hardwareapparaten kunnen bouwen en deze kunnen testen met dataproblemen uit de echte wereld.”

De volgende stap zal onderzoekers in staat stellen aan te tonen dat deze systemen zeer efficiënt zijn in het trainen en runnen van nuttige neurale netwerken en kunstmatige intelligentiesystemen.

“Wij willen deze technologie graag toepassen in verschillende praktijkgevallen”, zegt Van de Burgt. “Mijn droom is dat deze technologieën in de toekomst de norm worden in AI-toepassingen.”