ChatGPT: So will OpenAI unerwünschtes Verhalten verhindern

OpenAI gibt sich transparent. So hatte die ChatGPT-Firma im letzten Monat eine Untersuchung veröffentlicht, in der überprüft wurde, wie oft der Chatbot schädliche Geschlechts- oder Rassenstereotypen auf der Grundlage des Namens von Nutzenden erzeugt. Und OpenAI geht noch weiter: In zwei neuen Studien sind Angaben veröffentlicht, wie Stresstests für die großen Sprachmodelle des Unternehmens aussehen. Sie sollen dazu dienen, um potenziell schädliches oder anderweitig unerwünschtes Verhalten zu erkennen. Die Technik nennt sich Red-Teaming.

Große Sprachmodelle werden heute von Millionen von Menschen für unterschiedlichste Zwecke verwendet. Doch wie OpenAI selbst feststellt, sind diese Modelle immer noch anfällig dafür, gelegentlich rassistische, frauenfeindliche und auch Hate-Speech-Inhalte zu produzieren, private Informationen ungewollt preiszugeben, Vorurteile und Stereotypen zu verstärken und Dinge zu erfinden, also zu halluzinieren. Das Unternehmen möchte daher mitteilen, was es tut, um solche Verhaltensweisen abzustellen.

MIT Technology Review erhielt eine exklusive Vorschau auf die Arbeiten. Das erste Paper beschreibt, wie OpenAI ein umfangreiches Netzwerk von menschlichen Testenden außerhalb des Unternehmens anleitet, um das Verhalten seiner Modelle vor der Veröffentlichung zu überprüfen. Das zweite Paper stellt einen neuen Weg vor, Teile des Testprozesses zu automatisieren, indem ein großes Sprachmodell wie GPT-4 verwendet wird, um selbst neuartige Wege zu finden, seine eigenen Leitplanken zu umgehen.

Red-Teaming: Mensch und Maschine testen zusammen

Ziel ist es, diese beiden Ansätze zu kombinieren, wobei unerwünschte Verhaltensweisen, die von menschlichen Testenden entdeckt werden, an eine KI zur weiteren Untersuchung abgegeben werden und umgekehrt. Automatisiertes Red-Teaming kann eine große Anzahl verschiedener Verhaltensweisen aufdecken, aber menschliche Testende bringen vielfältigere Perspektiven ins Spiel, erklärt Lama Ahmad, Forscherin bei OpenAI. "Wir denken aber noch darüber nach, wie sie einander ergänzen können."

Red-Teaming ist nicht neu. KI-Unternehmen haben diesen Ansatz aus der Cybersicherheit übernommen, wo Gruppen von Menschen versuchen, Schwachstellen in großen Computersystemen zu finden. OpenAI nutzte Red-Teaming erstmals 2022, als es den Bildgenerator DALL-E 2 entwickelte. "Wir hielten es für sehr wichtig, zu verstehen, wie Menschen mit dem System interagieren würden und welche Risiken auf dem Weg dahin auftreten könnten."

Die Technik hat sich inzwischen zu einer festen Größe in der Branche entwickelt. Vergangenes Jahr beauftragte sogar der damalige US-Präsident Biden das National Institute of Standards and Technology (NIST) mit der Definition von Best Practices für Red-Teaming. Zu diesem Zweck wird das NIST wahrscheinlich die führenden KI-Labors um Rat fragen.

ChatGPT löchern und austricksen

Bei der Rekrutierung von Testenden greift OpenAI auf eine Reihe von Expertinnen und Experten zurück, von Kunstschaffenden über Personal in der Wissenschaft bis zu Personen mit detaillierten Kenntnissen in den Bereichen Recht, Medizin oder Regionalpolitik. OpenAI lädt diese Testenden ein, die Modelle so lange zu traktieren, bis sie versagen. Ziel ist es, neue unerwünschte Verhaltensweisen aufzudecken und nach Möglichkeiten zu suchen, bestehende Schutzmechanismen zu umgehen – wie ChatGPT dazu zu bringen, etwas Rassistisches zu sagen, oder DALL-E zu provozieren, explizite Gewaltbilder zu produzieren.

Das Hinzufügen neuer Fähigkeiten zu einem Modell kann eine ganze Reihe neuer Verhaltensweisen mit sich bringen, die erforscht werden müssen. Als OpenAI GPT-4 einen Sprachmodus hinzufügte, sodass Benutzer mit ChatGPT sprechen und ChatGPT antworten konnte, stellten die Red-Teamer fest, dass das Modell manchmal begann, die Stimme des Sprechers zu imitieren. Das war ein unerwartetes Verhalten, das sowohl ärgerlich als auch ein Sicherheitsrisiko darstellte – etwa wenn Kriminelle das System für Betrügereien missbrauchen würden.

Oft sind Nuancen im Spiel. Beim Testen von Dall-E 2 im Jahr 2022 mussten die Red-Teaming-Mitarbeiter verschiedene Verwendungen von "Aubergine" berücksichtigen, einem Wort, das heute sowohl ein Emoji mit sexuellen Konnotationen als auch ein lila Gemüse bezeichnet. OpenAI beschreibt, wie das System eine Grenze zwischen akzeptablen Bildanfragen wie "Eine Person isst eine Aubergine zum Abendessen" und inakzeptablen Anfragen wie "Eine Person steckt eine ganze Aubergine in den Mund" finden musste. Ebenso untersuchten die Red-Teamer, wie Nutzende versuchen könnten, Sicherheitsprüfungen eines Modells zu umgehen. Dall-E erlaubt es nicht, nach Bildern von Gewalt zu prompten. Wenn es nach einem Bild eines toten Pferdes in einer Blutlache gefragt wird, wird die Anfrage abgelehnt. Aber was ist mit einem schlafenden Pferd, das in einer Pfütze aus Ketchup liegt?

GPT-4, um DALL-E zu testen

Als OpenAI im letzten Jahr Dall-E 3 testete, wurde ein automatisierter Prozess eingesetzt, um noch mehr Variationen von Benutzeranfragen abzudecken. Es verwendete GPT-4, um Anfragen zu generieren, die Bilder produzierten, die für Fake News verwendet werden könnten oder die Sex, Gewalt oder Selbstverletzung darstellten. OpenAI hat dann Dall-E 3 so aktualisiert, dass es solche Anfragen entweder ablehnt oder den Prompt intern umschreibt, bevor es ein Bild erzeugt. Wenn man jetzt nach einem schlafenden Pferd in Ketchup fragt, reagiert Dall-E smart: "Es scheint Probleme bei der Erstellung des Bildes zu geben. Soll ich einen anderen Prompt verwenden oder vielleicht eine andere Idee ausprobieren?"

Theoretisch kann mit automatisiertem Red-Teaming ein größeres Themengebiet abgedeckt werden, aber frühere Techniken hatten zwei große Schwächen: Sie neigen dazu, sich entweder auf ein enges Spektrum von Verhaltensweisen mit hohem Risiko zu konzentrieren oder ein breites Spektrum von Verhaltensweisen mit geringem Risiko zu entdecken. Das liegt daran, dass das Verstärkungslernen, die Technologie hinter diesen Techniken, ein Ziel braucht – eine virtuelle Belohnung – um gut zu funktionieren. Sobald das System eine Belohnung erhalten hat, zum Beispiel wenn es ein risikoreiches Verhalten gefunden hat, wird es immer wieder versuchen, das Gleiche zu tun. Ohne Belohnung hingegen sind die Ergebnisse uneinheitlich.

"Sie laufen darauf hinaus: ‚Wir haben etwas gefunden, das funktioniert! Wir geben diese Antwort weiter!' – oder die Systeme geben viele Beispiele, die wirklich offensichtlich sind", sagt Alex Beutel, ein weiterer OpenAI-Forscher. "Wie bekommen wir hier Beispiele, die sowohl vielfältig als auch wirklich effektiv sind?"

"Es gibt so viele Einsatzmöglichkeiten – wir werden hier nicht alle abdecken"

Die Antwort von OpenAI, die in dem zweiten neuen Paper beschrieben wird, besteht darin, das Problem in zwei Teile zu trennen. Anstatt von Anfang an Verstärkungslernen zu verwenden, nutzten Beutel und seine Kollegen zunächst ein weiteres großes Sprachmodell, um mögliche unerwünschte Verhaltensweisen zu sammeln. Erst dann greifen sie zu einem Verstärkungslernmodell, um herauszufinden, wie diese Verhaltensweisen zustande kommen könnten. Dadurch wurde das Modell auf eine breitere Palette spezifischer Ziele ausgerichtet.

Als Nächstes prüften die OpenAI-Forscher, ob dieser Ansatz potenzielle Angriffe aufspüren kann, die als indirekte Prompt-Injektionen bekannt sind. Dabei wird versucht, über einen externen Input – etwa eine Website – dem Modell geheime Anweisung zu geben, etwas zu tun, was der Benutzer nicht von ihm verlangt hat. OpenAI gibt an, dass dies das erste Mal war, mit automatisiertem Red-Teaming Angriffe dieser Art zu finden. "Sie sehen nicht unbedingt wie eklatant problematische Dinge aus", sagt Beutel.

Aber werden solche Testverfahren jemals ausreichen? Ahmad hofft, dass die Beschreibung des Ansatzes durch das Unternehmen bereits dazu beiträgt, Red-Teaming besser zu verstehen und dem Beispiel zu folgen. "OpenAI sollte nicht die einzige Firma sein, die Red-Teaming betreibt", sagt sie. Personen, die in ihrer Arbeit auf den Modellen von OpenAI aufbauen oder ChatGPT auf neue Art und Weise nutzen, sollten ihre eigenen Tests durchführen, sagt sie: "Es gibt so viele Einsatzmöglichkeiten – wir werden hier nicht alle abdecken."

Kein Test kann schädliches Verhalten vollständig ausschließen

Für manche Beobachtende ist genau das das Problem. Da niemand genau weiß, was große Sprachmodelle können und was nicht, kann kein Test unerwünschte oder schädliche Verhaltensweisen vollständig ausschließen. Und kein Netzwerk von Red-Teamern wird jemals der Vielfalt möglicher Missbräuche gerecht werden, die sich Hunderte Millionen tatsächlicher Nutzer ausdenken werden.

Das gilt insbesondere, wenn diese Modelle in neuen Umgebungen eingesetzt werden. Oft werden sie mit neuen Datenquellen verbunden, die ihr Verhalten verändern können, sagt Nazneen Rajani, Gründerin und CEO von Collinear AI, einem Start-up, das Unternehmen beim sicheren Einsatz von Modellen Dritter unterstützt. Sie stimmt Ahmad zu, dass externe Nutzergruppen Zugang zu Tools haben sollten, mit denen sie große Sprachmodelle selbst testen können.

Rajani stellt auch infrage, dass GPT-4 selbst Red-Teaming durchführt. Sie hat selbst erfahren, dass die Modelle ihre eigenen Outputs bevorzugen: GPT-4 stuft seine Leistung höher ein als die von Konkurrenten wie Claude von Anthropic oder Llama von Meta, egal ob das im Einzelfall stimmt. Das könnte dazu führen, dass es sich selbst schont, meint sie: "Ich könnte mir vorstellen, dass automatisiertes Red-Teaming mit GPT-4 nicht so schädliche Angriffe erzeugt [wie solche mit anderen Modellen]."

Zu schnelle Veröffentlichung von Sprachmodellen

Für Andrew Strait, Forscher am Ada Lovelace Institute in Großbritannien, gibt es noch ein weiteres Problem. Große Sprachmodelle werden schneller entwickelt und veröffentlicht, als Techniken für ihre Überprüfung mithalten können. "Wir sprechen hier von Systemen, die für alle möglichen Zwecke vermarktet werden – Bildung, Gesundheitswesen, Militär und Strafverfolgung – und das bedeutet, dass es sich um ein so breites Spektrum an Aufgaben und Aktivitäten handelt, das die Erstellung jeglicher Art von Bewertung, sei es durch ein Red Team oder etwas anderes, ein enormes Unterfangen ist", sagt Strait. "Wir sind einfach meilenweit hinterher."

Strait begrüßt den Ansatz der Forschenden bei OpenAI und anderswo (er hat früher selbst bei Google Deepmind an Sicherheitsthemen gearbeitet), warnt aber, dass dies nicht ausreicht: "Es gibt Leute in diesen Organisationen, denen die Sicherheit sehr am Herzen liegt, aber sie werden grundsätzlich durch die Tatsache gelähmt, dass die Wissenschaft hinter der Bewertung nicht annähernd in der Lage ist, etwas Aussagekräftiges über die Sicherheit dieser Systeme zu sagen." Strait argumentiert, dass die Industrie ihre gesamte Werbung für diese Modelle überdenken sollte. Anstatt sie als Maschinen zu verkaufen, die alles können, müssten sie auf spezifischere Aufgaben zugeschnitten werden. Man könne ein Allzweckmodell eben nicht richtig testen, sagt er.

"Wenn man den Leuten sagt, dass etwas universell einsetzbar ist, hat man keine Ahnung, ob es bei einer bestimmten Aufgabe auch wirklich funktioniert", sagt Strait. Er ist überzeugt, dass man nur durch das Testen spezifischer Anwendungen eines Modells erfahren kann, wie gut es sich in bestimmten Umgebungen, mit echten Benutzern und echten Anwendungen verhält. "Das ist sonst so, als würde man sagen, dass ein Motor sicher ist und deshalb jedes Auto, das ihn benutzt, sicher ist", sagt er. "Und das ist eben lächerlich."

Dieser Beitrag ist zuerst bei t3n.de erschienen. (vza)