Aktuell ist eine der spannendsten Fragen für den Einsatz von KI nicht nur im Bereich Security, sondern für alle anspruchsvollen Themen: Was ist der wesentliche, treibende Faktor für die praktische Leistungsfähigkeit von KI-Systemen? Das Modell oder die richtige Orchestrierung mit einem ausgefeilten Harness? Benötigen wir überhaupt noch viel bessere LLMs? Oder sollten wir uns vielmehr darauf konzentrieren, aus dem, was wir haben – und uns leisten können – das Beste herauszuholen?
Bislang verlief die Front weitgehend entlang der Geschäftsmodelle – pro Harness argumentierten fast ausschließlich Firmen, die selbst kein eigenes Frontier-Modell haben, und deshalb fast schon zwangsläufig ihre (Geschäfts-)Perspektive bei Modell-unabhängigen Produkten auf Basis einer ausgefeilten Arbeitsumgebung sehen. Besonders sichtbar wird das aktuell im Bereich Security mit Start-ups wie AISLE und XBOW sowie bei IronCurtain von Ex-Googler Niels Provos. Aber auch Konzerne wie Microsoft haben sich hier festgelegt: „Der Harness erledigt die Arbeit, das Modell ist nur eine Eingabe“, heißt es in der Vorstellung ihres agentischen Security-Helfers MDASH. Gemeinsam ist allen: Sie haben kein eigenes Top-Modell am Start.
Lass das Modell sein Ding machen
Der extreme Gegenpol war und ist Anthropic, die sehr viel Wert darauf legen, dass das Modell der treibende Faktor ist. Sie fokussieren ihre Kommunikation folglich darauf, wie herausragend gut Mythos und Fable seien. „Verboten gut“ war da ein echtes Geschenk für deren PR-Strategen. Die grundlegende These ist, dass ein zu komplexer Harness den Fähigkeiten der aktuellen und kommenden Top-Modelle potenziell eher im Weg stehe. So betonte etwa Anthropics Nicholas Carlini bei der Vorstellung von Mythos mehrfach, dass er im Wesentlichen das LLM nur noch auf ein Repository ansetze und dann seinen Job machen lasse. Der Harness gibt dabei nur den Startpunkt und grobe Leitplanken vor – den Job, einschließlich eines Großteils der Orchestrierung, erledigt das LLM weitgehend autonom.
Irgendwo dazwischen positioniert sich OpenAI. Die haben eigene Top-Modelle, spannen die für ernsthafte Security-Arbeiten aber im Rahmen von Aardvark, mittlerweile in Codex Security umbenannt, in einen überaus elaborierten Harness ein. Das Projekt profitiert von der Expertise von Dave Aitel, einem der ersten prominenten Hacker, der sich ganz der Offensive Security verschrieben hatte und mit Canvas eines der ersten kommerziellen Exploit-Frameworks entwickelte. Doch Codex Security ist ein geschlossenes Gesamtsystem, das komplett auf OpenAIs GPTs setzt; Modellunabhängigkeit ist auch hier Fehlanzeige.
Offener Code, offene Schnittstellen, freie Modellwahl
Und jetzt kommt Google – selbst Betreiber eines Frontier-Modells – und stellt Mantis Skills vor, ein portables „Toolkit for Building Security Review Harnesses“. Sie präsentieren damit eine Architektur für kontinuierliche, auf Wunsch sogar autonome Security-Evaluierung und -Optimierung inklusive Auto-Patching. Dabei dokumentieren sie nicht nur Architektur und Design von Mantis offen zugänglich, sondern stellen sogar die Kern-Elemente als Open-Source zur freien Verfügung – auch für Wettbewerber und Startups in diesem Bereich. Ihr eigentliches, darauf aufbauendes Produkt ist damit nicht komplett offengelegt – aber das ist eine andere Geschichte.
Der Clou an dem Ganzen ist: Obwohl Google mit Gemini ein großes Frontier-Modell am Start hat, ist Mantis konzeptionell Modell-unabhängig angelegt und lässt sich prinzipiell mit LLMs der Konkurrenz oder sogar lokal betriebenen Open-Weight-Modellen nutzen. Die Autoren des Projekts empfehlen sogar explizit eine Kombination unterschiedlicher Modelle für verschiedene Aufgaben – vor allem auch aus den immer wichtiger werdenden Kosten-Effizienz-Gründen.
Googles Motivation
Natürlich macht Google das nicht aus reiner Menschenfreundlichkeit. Wer die Referenzarchitektur pflegt, prägt Schnittstellen und Ökosystem – und kann die produktionsreife Variante sowie Compute und Betrieb in der eigenen Cloud monetarisieren. Wer dabei an Chrome und Android denken muss, hat das Konzept verstanden. Allerdings sollte ich an der Stelle erwähnen, dass Mantis derzeit in erster Linie ein praktisches Engineering-Projekt ist; ein strategisches Commitment der Konzernführung, dass das die neue Google-Linie für KI ist, gibt es derzeit noch nicht.
Trotzdem ist Mantis bereits jetzt ein großer Schritt, der nicht nur die Frage „Harness oder Modell?“ in einem neuen Licht erscheinen lässt. Darüber hinaus ist es ein schlauer Move von Google, die im Rennen um die Führung im KI-Markt letztens etwas abgeschlagen wirkten. Claude, Fable, GPT, Gemini oder lieber DeepSeek, Qwen und Llama? Egal – solange du Mantis (oder dessen Nachfolger) benutzt, wäre Google wieder einmal der eigentliche Gewinner. Ich bin gespannt, ob Google dem ersten Schritt mit Mantis echtes Commitment folgen lässt.
Jürgen Schmidt - aka ju - ist Leiter von heise Security und Senior Fellow Security des Heise-Verlags. Von Haus aus Diplom-Physiker, arbeitet er seit über 25 Jahren bei Heise und interessiert sich auch für die Bereiche Netzwerke, Linux und Open Source. Aktuell kümmert er sich vor allem um heise security PRO.
Nachtrag: Wer noch Googles ehemalige Maxime „Don't be evil“ im Kopf hat und denkt, besser Google als OpenAI oder gar Elon Musk, dem sei diese Lektüre empfohlen. Da beschreibt ein DeepMind-Forscher, wie sehr ihn der Verkauf an Google und die anschließende kontinuierliche Aufweichung der ethischen Prinzipien des Projekts beunruhigt. Mittlerweile hat Google DeepMind einen geheimen Vertrag mit dem Pentagon, der diesem sehr weitreichende Nutzungsrechte einräumt.
Diese Analyse schrieb Jürgen Schmidt ursprünglich für den exklusiven Newsletter von heise security PRO, wo er jede Woche das Geschehen in der IT-Security-Welt für Sicherheitsverantwortliche in Unternehmen einordnet.
(ju)
English (US) ·