vor 1 Stunde
1
Anthropic schätzt das Risiko schwerer Schäden durch eine mögliche Fehlsteuerung seiner Modelle etwas höher ein als noch vor einem halben Jahr. Die Gefahr von schwerwiegenden Folgen in Hochrisiko-Situationen sei demzufolge nun immerhin als »niedrig« einzuschätzen. Im Februar war die Bewertung noch bei »sehr niedrig« gewesen.
Das steht im zweiten sogenannten Risikobericht des Unternehmens. Anthropic hat ihn am Freitag veröffentlicht. Der vorangegangene Bericht stammt vom Februar. Mit Hochrisiko-Situationen meint das Unternehmen Fälle, in denen seine KI nicht für banale Standardaufgaben eingesetzt wird. Sondern zum Beispiel mit weitreichenden Zugriffsrechten eigenständig in sicherheitsrelevante Forschungs- und Entwicklungsprozesse eingreifen könnten.
Ein KI-Agent ist eine Software, die weitgehend autonom agieren kann. Er erledigt Arbeitsaufträge, ohne für jeden einzelnen Schritt nachzufragen, ähnlich wie ein menschlicher Assistent.
Der Risikobericht betont nun, dass es keine neuen Hinweise auf gravierende Vorfälle gebe. Man bewerte aber nun vorsichtiger, weil sich die Fähigkeiten und Risiken der Systeme schwerer zuverlässig messen ließen.
Neues Modell zunächst nur intern im Einsatz
Das Prinzip Vorsicht betont Anthropic auch in einem anderen Fall, den der Bericht aufgreift: Sein neues, noch leistungsfähigeres Modell mit dem Namen Model 2 will das Unternehmen nämlich bis auf Weiteres lediglich firmenintern einsetzen – und nicht veröffentlichen.
Laut Anthropic sei Model 2 merklich besser als das aktuelle Modell Mythos 5, etwa beim Programmieren oder Erzeugen von Trainingsdaten. Offenbar will man das Modell aber weiter intensiv testen, bevor es auf den Markt kommt.
Die Ankündigung ist erstaunlich, weil die Entwicklung von fortschrittlicher KI durch führende US-Unternehmen wie Anthropic oder OpenAI lange immer wieder als Wettrennen beschrieben wurde: Wer bremst, verliert.
Nach den schwerwiegenden Sicherheitsfällen und einer globalen Debatte über KI-Sicherheit und mehr Regulierung scheint Tempo zumindest aktuell aber nicht mehr der bestimmende Faktor zu sein.
Die Branche betont auf unterschiedlichen Wegen, Sicherheit zu priorisieren. Wohl auch, um neue, strengere Gesetze abzuwenden. Freiwillig veröffentlichte Berichte wie der von Anthropic sind dabei nicht zuletzt ein gutes Marketingwerkzeug.
English (US) ·