Die Entwicklung von KI-Agenten konzentriert sich stark auf Programmieraufgaben und bildet die Anforderungen des realen Arbeitsmarkts nur unzureichend ab. Das ist das zentrale Ergebnis einer Studie von Forschenden der Stanford University und der Carnegie Mellon University.
Das Team um Zora Z. Wang hat für die auf arXiv veröffentlichte Untersuchung 43 gängige Benchmarks mit insgesamt 72.342 Aufgaben analysiert und diese auf 1.016 Berufe des US-Arbeitsmarkts abgebildet. Die Berufe stammen aus der Berufstaxonomie O*NET der US-Regierung, die berufliche Tätigkeiten unter anderem nach dem Arbeitsfeld und den verlangten Fähigkeiten klassifiziert.
Einseitige Tests
Das Ergebnis ist ernüchternd: Die Benchmarks testen KI-Agenten ganz überwiegend im Arbeitsfeld „Computer and Mathematical“ – eine Berufskategorie, die nur 7,6 Prozent der US-Beschäftigung ausmacht. Die Anforderungen hoch digitalisierter und wirtschaftlich bedeutender Felder wie Management, Recht, Architektur und Ingenieurwesen werden hingegen kaum abgedeckt.
Bei den getesteten Fähigkeiten zeigt sich ein vergleichbares Muster: Enge Aktivitäten wie „Getting Information“ und „Working with Computers“ sind überrepräsentiert, obwohl sie nur einen kleinen Teil der Beschäftigung ausmachen. Die für viele Berufe zentrale Kategorie „Interacting with Others“ fehlt in den Benchmarks fast vollständig.
Insgesamt decken die 43 untersuchten Benchmarks 56,5 Prozent der Arbeitsfeld-Taxonomie und 85,4 Prozent der Fähigkeiten-Taxonomie ab. Am breitesten aufgestellt ist der Benchmark GDPval mit 47,8 Prozent Domänen- und 58,5 Prozent Fähigkeiten-Abdeckung.
Agenten scheitern an komplexen Aufgaben
Die Analyse zeigt auch, dass KI-Agenten bei steigender Aufgabenkomplexität deutlich an ihre Grenzen stoßen – besonders bei Aufgaben aus den Kategorien Informationsverarbeitung und zwischenmenschliche Interaktion. Das steht in Einklang mit anderen aktuellen Ergebnissen: Der Benchmark LiveAgentBench etwa ergab, dass Agenten mit Werkzeugzugriff nur 24 Prozent von 104 praxisnahen Aufgaben lösen konnten, während Menschen auf 69 Prozent kamen.
Die Forschenden leiten aus ihren Ergebnissen drei Prinzipien für künftige Benchmarks ab: Diese sollten eine breitere Abdeckung realer Berufsdomänen und Fähigkeiten bieten, realistischere und komplexere Aufgabenstellungen umfassen und feingranulare Bewertungskriterien nutzen. Ohne eine solche Neuausrichtung bestehe das Risiko, dass die KI-Agenten-Entwicklung an den wirtschaftlich und gesellschaftlich relevanten Einsatzgebieten vorbeiläuft.
(odi)
English (US) ·