AI-training op de chip, een stap dichterbij dankzij TU/e-onderzoek

Onderzoekers van de Technische Universiteit Eindhoven (TU/e) hebben een neuromorf apparaat ontwikkeld (technologie die de werking van het menselijk brein nabootst) dat trainingen op een chip kan uitvoeren. Dit zou het onnodig maken om AI-modellen eerst in een computeromgeving te trainen en ze vervolgens naar de chip over te brengen. Succesvol testen kan leiden tot efficiëntere AI-chips, al zal de praktische toepassing enige tijd vergen.

Onderzoekers Yoeri van de Burgt en Marco Fattori onderzoeken de mogelijkheden om de werking van het menselijk brein in (computer)omgevingen na te bootsen. Hersenen zijn idealiter ontworpen om nieuwe informatie op te slaan, te verwerken en te gebruiken. Het is dan ook niet verrassend dat hier onderzoek naar wordt gedaan in het licht van AI-training.

Van de Burgt, universitair hoofddocent bij de afdeling Werktuigbouwkunde, is van mening dat neuromorfe chips, dat wil zeggen hardware, een “veelbelovend alternatief” zijn voor softwarematige neurale netwerken die momenteel veel worden gebruikt voor AI-training. Deze neurale netwerkmodellen bestaan ​​uit knooppunten waarvan de onderlinge sterkte wordt bepaald door een getal: het gewicht. Dit is vergelijkbaar met hoe neuronen (zenuwcellen) in de hersenen met elkaar zijn verbonden via synapsen die elektrische en chemische signalen overbrengen.

“Neurale netwerken kunnen helpen bij het oplossen van complexe problemen met grote hoeveelheden data, maar naarmate netwerken groter worden, gaan ze gepaard met hogere energiekosten en hardwarebeperkingen”, zegt Van de Burgt in een artikel op de TU/-site.

elektrische lading

De noodzaak om AI-modellen eerst op een computer te trainen maakt dit proces vaak omslachtig, traag en energie-inefficiënt. Het rechtstreeks trainen van AI op hardware heeft ook zijn beperkingen. Dat komt door hem geheugen weerstanden Ze ‘herinneren’ zich hoeveel elektrische lading er in het verleden door hen heen stroomde. Dit memristors ze moeten één voor één worden geprogrammeerd en vervolgens worden gecontroleerd op fouten vanwege hun onvoorspelbaarheid (de term is stochastisch) land.

Van de Burg, die voor dit onderzoek samenwerkte met Marco Fattori van Elektrotechniek, slaagde er echter in een circuitontwerp te maken dat de huidige beperkingen omzeilt. Ze slaagden erin een tweelaags neuraal netwerk te creëren op basis van elektrochemische Random Access Memory (EC-RAM) componenten gemaakt van organische materialen. De volgende stap is nu om meer lagen toe te voegen.

Voor praktische toepasbaarheid zijn meer lagen nodig

Ter vergelijking: een LLM zoals GPT-4 heeft 120 lagen, Llama 3 heeft er 80. Deze lagen zijn essentieel voor de complexiteit van een model. Voordat deze technologie volledig kan worden ingezet om AI te trainen, moeten er nog de nodige lagen aan worden toegevoegd.

Het werk van Van de Burg en Fattori maakt deel uit van onderzoek geïnitieerd door Tim Stevens en Eveline van Doremaele. De resultaten zijn gepubliceerd in Science Advances. Van Doremaele promoveerde vorig jaar op een proefschrift over neuromorfe chips.

Lees ook: Full-size AI-chipmaker Cerebras bereidt zich voor op een beursgang