Anthropic lanceert initiatief om benchmarks voor LLM’s te verbeteren

Anthropic lanceert een initiatief om betere normen te ontwikkelen voor het evalueren van de prestaties en impact van AI-modellen. De AI-ontwikkelaar belooft geld aan onderzoekers of onafhankelijke derde partijen om deze standaarden te ontwikkelen.

Het nieuwe benchmarkstandaardeninitiatief moet ervoor zorgen dat er nieuwe standaarden worden gecreëerd om AI-modellen, zoals LLM’s, beter te evalueren. Meer specifiek zijn dit volgens de AI-ontwikkelaar nieuwe benchmarks om de veiligheid ervan te evalueren, het vermogen om geavanceerde resultaten te beheren, zoals de vorming van hypothesen, evenals standaarden voor infrastructuur, tools en methoden om deze evaluaties te ontwikkelen.

Bestaande AI-benchmarks beoordeeld

Met dit initiatief pleit Anthropic voor een volledige verandering van alle bestaande referentiemethoden voor het evalueren van AI-modellen. Vooral als het gaat om AI-beveiliging door tools te ontwikkelen waar het hele ecosysteem van kan profiteren.

Een voorbeeld is een benchmark die het vermogen van een AI-model evalueert om kwaadaardige acties uit te voeren, zoals het uitvoeren van cyberaanvallen, het manipuleren of misleiden van mensen, het verbeteren van massavernietigingswapens, en meer. Uiteindelijk moet dit een waarschuwingssysteem bieden voor potentieel gevaarlijke modellen die de veiligheid kunnen bedreigen.

Met dit initiatief wil Anthropic ook meer benchmarks zien die zich specifiek richten op wetenschappelijk onderzoek, waarbij het belangrijk is om vooroordelen weg te nemen en in meerdere talen te kunnen communiceren.

Uiteindelijk moet dit leiden tot nieuwe tools en infrastructuur waarmee experts hun eigen evaluaties voor specifieke taken kunnen uitvoeren, gevolgd door grote testprojecten met honderden of duizenden gebruikers.

Ontwerp initiatief

Het initiatief wordt geleid door een speciaal aangestelde coördinator en biedt ook subsidies aan onderzoekers. Daarnaast geeft Anthropic aan dat de meest veelbelovende projecten op benchmarkgebied mogelijk investeringen ontvangen.

De AI-ontwikkelaar geeft aan geen voorkeur te willen geven aan de eigen AI-modellen. Het aangekondigde initiatief moet een katalysator zijn binnen de bredere AI-industrie en de weg vrijmaken voor toekomstige ontwikkelingen waarbij begrijpelijke beoordelingen de norm zijn.

Anthropic is niet de enige AI-ontwikkelaar die een initiatief lanceert om nieuwe referentiestandaarden te ontwikkelen. Sierra Technologies heeft onlangs ook een nieuwe, zelf ontwikkelde benchmarkstandaard aangekondigd voor het evalueren van de prestaties van zogenaamde AI-agents.

Lees ook: Claude 3.5 Sonnet: Anthropic verslaat opnieuw OpenAI en Google