Eine umfangreiche Untersuchung der Nachrichtenagentur Reuters in Zusammenarbeit mit einem Forscher der Harvard University hat ergeben, dass sich die Sicherheitsvorkehrungen aktueller KI-Chatbots mit erschreckender Leichtigkeit umgehen lassen, um sie für Phishing-Angriffe zu missbrauchen. Demnach konnten alle getesteten Systeme, darunter ChatGPT von OpenAI, Googles Gemini, Metas KI und Grok von xAI, dazu gebracht werden, hochgradig überzeugende Betrugs-E-Mails zu verfassen.
In einem praktischen Test wurden einige dieser KI-generierten E-Mails an eine Gruppe von 108 freiwilligen Senioren versendet. Wie Reuters berichtet, klickten rund 11 Prozent der Empfänger auf die darin enthaltenen Links – eine bemerkenswert hohe Erfolgsquote für diese E-Mail-Form.
Mehr als nur Text: KI als strategischer Komplize
Die Untersuchung zeigt, dass die Chatbots weit mehr als nur Textbausteine liefern. Sie agierten in den Tests als proaktive Helfer bei der Planung des Betrugs. So habe der Chatbot Grok nicht nur eine Phishing-Mail verfasst, sondern von sich aus vorgeschlagen, die Botschaft mit Formulierungen wie "Klicken Sie jetzt, bevor es zu spät ist!" noch dringlicher zu gestalten.
Googles Gemini wiederum lieferte auf Nachfrage strategische Ratschläge für den optimalen Versandzeitpunkt. Um ältere Menschen am besten zu erreichen, empfahl die KI Wochentage zwischen 9 und 15 Uhr, da diese Zielgruppe dann am ehesten ihre E-Mails prüfe.
Ein systemisches Problem der Tech-Branche
Die Leichtigkeit, mit der sich die Schutzmaßnahmen umgehen ließen, deutet auf ein grundlegendes Dilemma der Branche hin. Anbieter trainieren KI-Modelle darauf, Nutzern bestmöglich zu assistieren. Laut zitierten Experten stehe dieser Drang zur "Hilfsbereitschaft" oft im Konflikt mit den implementierten Sicherheitsfiltern. Gibt man vor, die Texte etwa für einen Roman oder für Forschungszwecke zu benötigen, setzen die Chatbots ihre eigenen Regeln häufig außer Kraft.
Diese Beobachtung deckt sich mit den Warnungen von Sicherheitsbehörden wie dem deutschen Bundesamt für Sicherheit in der Informationstechnik (BSI), das in seinen Lageberichten die fortschreitende Professionalisierung von Cyberangriffen durch neue Technologien hervorhebt. Die Reuters-Recherche liefert nun konkrete Belege aus der Praxis. Dem Bericht zufolge wird ChatGPT bereits heute in realen Betrugszentren in Südostasien eingesetzt, um Betrugsnachrichten zu erstellen und zu optimieren.
Die betroffenen Unternehmen erklärten gegenüber Reuters, dass die Erstellung von Phishing-Inhalten gegen ihre Richtlinien verstoße. Google teilte mit, nach der Konfrontation mit den Ergebnissen zusätzliche Schutzmaßnahmen für Gemini implementiert zu haben. Die Untersuchung macht jedoch deutlich, dass die aktuelle Generation von KI-Systemen eine erhebliche Schattenseite hat.
Der pensionierte Buchhalter Daniel Frank, einer der Studienteilnehmer, fasste seine Einschätzung so zusammen: "Ich denke, die KI ist ein Geist aus der Flasche, von dem wir wirklich nicht wissen, was er kann und was nicht."
Dieser Beitrag ist zuerst auf t3n.de erschienen.
(jle)
English (US) ·