Weiter Weg zur Open-Source-KI: Red Hat prescht vor

Die KI-Plattform OpenShift AI erhält in Version 2.15 etliche neue Funktionen, darunter eine Model Registry als zentrale Verwaltung der Modelle. Damit kann man prädiktive sowie generative KI-Modelle, Metadaten und Modell-Artefakte gemeinsam nutzen, versionieren, bereitstellen und kontrollieren. Das hat Hersteller Red Hat angekündigt. OpenShift AI ist eine KI- und Machine-Learning-Plattform für die Entwicklung und den Betrieb KI-gestützter Anwendungen in einer Hybrid-Cloud-Umgebung. Zu ihren Aufgaben gehören Datenerfassung und -aufbereitung, das Modelltraining, die Feinabstimmung, die Modellbereitstellung, das Monitoring sowie die Hardwarebeschleunigung.

Erkennen von Abweichungen – und unvoreingenommene KI

Eine weitere Neuerung in OpenShift AI 2.15 ist Data Drift Detection. Die Funktion erkennt Änderungen in der Verteilung von Eingabedaten für bereits im Einsatz befindliche ML-Modelle. Drift Detection warnt Data Scientists, sobald die Live-Daten der Modellvorhersagen erheblich von den Trainingsdaten abweichen. Da die Eingabedaten kontinuierlich überwacht werden, lässt sich die Zuverlässigkeit des Modells überprüfen und man kann das Modell gegebenenfalls an die realen Daten anpassen. Die ebenfalls neue Bias Detection hilft, eine faire und unvoreingenommene KI zu entwickeln. Das Tool soll nicht nur aufzeigen, ob die Modelle auf Grundlage der Trainingsdaten unvoreingenommen sind, sondern auch die Fairness der Modelle in der Praxis überwachen.

Ein weiteres neues Feature ist Fine-Tuning mit Low Rank Adaption (LoRA). Damit lässt sich eine schnellere Feinabstimmung von LLMs wie Llama 3 realisieren. Die neue Unterstützung von NVIDIA NIM beschleunigt die verteilten Bereitstellung von KI-Anwendungen mittels Microservices. NIM ist Teil der NVIDIA AI Enterprise Software Plattform und verbessert das Verteilen von GenKI-Anwendungen. Neben NVIDIA unterstützt OpenShift aber auch AMD-GPUs. Das ermöglicht den Zugriff auf ein AMD ROCm Workbench Image zur Verwendung von AMD-GPUs für die Modellentwicklung. Die Neuerung erlaubt auch den Zugriff auf Images, die für Serving- und Trainings-/Tuning-Anwendungsfälle mit AMD-GPUs einsetzbar sind. Damit stehen zusätzliche Optionen für den Einsatz von GPUs zur Verbesserung der Leistung bei rechenintensiven Aktivitäten zur Verfügung. Die neue Version von Red Hat OpenShift AI arbeitet außerdem mit KServe Model Cars: Repositorys der Open Container Initiative (OCI) lassen sich als Option für die Speicherung und den Zugriff von containerisierten Modellversionen hinzufügen.

Infrastrukturunabhängige Sprachmodelle

Red Hat versteht sich als anwendungsneutraler Plattform-Anbieter und ist somit gefordert, auch den plattformunabhängigen Betrieb von KI-Modellen zuzulassen. Doch hier gibt es zunehmend ein Problem: Die großen Sprachmodelle sind stark an die Hardware gebunden, auf der sie laufen. Um dieses Problem zu lösen, hat Red Hat vor Kurzem Neural Magic akquiriert, ein Spin-off des MIT, und will nun eine Art „Open Hybrid AI“ auf den Markt bringen. Dazu müssen die LLMs so weit abstrahiert werden, dass sie auf jeder beliebigen Plattform lauffähig sind – in Anlehnung an virtuelle Maschinen „virtuelle LLMs“ (vLLMs) genannt. Das Konzept dafür wurde an der University of California in Berkeley entwickelt und soll KI-Modelle auf verschiedenen Hardwareplattformen erlauben, darunter Prozessoren von AMD, Intel und Nvidia sowie benutzerdefinierte Chips von Amazon Web Services und Google.

Kleine Modelle gegen extremen Leistungsbedarf

Doch das ist nicht das einzige Problem: Die leistungsstärksten LLMs benötigen extrem viel Rechenleistung – und der Bedarf steigt exponentiell an. Andererseits sind die großen Universalmodelle für die meisten Firmenanwendungen überdimensioniert. Red Hat setzt auf „Small Language Model“ (SML), also Modelle, die für einfache KI-Anwendungsfälle geeignet sind. Dabei wird ein großes Modell so spezifisch trainiert, dass sich damit bestimmte Anwendungen zufriedenstellend abarbeiten lassen. Red Hat setzt dafür InstructLab ein. Zusammen mit RHEL und einem Granite-Modell von Red Hats Mutterkonzern IBM kann man damit nahezu beliebige Modelle so speziell trainieren, dass sie exakt zu einem vorgegebenen Anwendungsfall passen. Diese Modelle benötigen wesentlich weniger Rechenleistung, sodass sie auf dem eigenen Server oder sogar auf einem der neuen KI-PCs laufen können. Hierbei arbeitet Red Hat eng mit Intel zusammen.

IBM hat sein Sprachmodell Granite-7B in InstructLab integriert, sodass jeder neue Fähigkeiten und Kenntnisse hinzufügen und sie für die spezifischen Anforderungen eines Unternehmens anpassen kann – ohne dass etwas von dem verloren geht, womit das Modell zuvor trainiert wurde. Über die Performance sagt IBM, dass das ursprüngliche Trainieren der Granite-Codemodelle für die Übersetzung von COBOL in Java 14 Feinabstimmungsrunden benötigte, die insgesamt neun Monate dauerten. Mit InstructLab konnte das Team mit nur einer Runde und einem Zeitbedarf von einer Woche neu abgestimmte COBOL-Fähigkeiten hinzufügen und eine bessere Leistung erzielen.

Mängel in der Technologie, Pluspunkte bei der Transparenz

Insgesamt wird die Nutzung von Open Source für KI noch kritisch gesehen. Das betrifft etwa die Unabhängigkeit von großen Unternehmen. "Ohne die großen KI-Unternehmen, wie Microsoft, Facebook, Google und Tesla, kann sich KI nicht weiterentwickeln – das trifft insbesondere auch auf den KI-Einsatz mit Open-Source-Modellen zu", sagt Hans Roth, Red Hats Senior Vice President und General Manager EMEA. Das liegt vor allem daran, dass für die Entwicklung und Pflege der LLMs immense Ressourcen nötig sind, die die Community nicht bereitstellen kann.

Aber auch unabhängig davon ist Open Source noch keine gleichwertige Alternative zu proprietären Produkten. Die LF AI & Data Foundation, eine auf KI spezialisierte Unterorganisation der Linux Foundation, hat sich intensiv mit diesem Thema beschäftigt. Bei einer Vergleichsuntersuchung schnitten die aktuellen Open-Source-Modelle bei den meisten Aufgaben schlechter ab als Closed-Source-Modelle. Das betrifft auch die Security. So ergab eine Analyse mithilfe von Code-Schwachstellenscannern wie Bandit, FlawFinder und Semgrep bei über 100.000 Open-Source-Modellen auf Hugging Face und GitHub, dass über 30 Prozent der Modelle schwerwiegende Schwachstellen aufweisen. Bei geschlossenen Modellen sind es in der Regel wesentlich weniger Sicherheitsrisiken.

Ein spezielles Problem der Open-Source-Nutzung für Künstliche Intelligenz ist auch die verwirrende Einordnung. So beklagt die Organisation, dass viele Anbieter „Openwashing“ betreiben: Sie behaupten, ihr Produkt sei Open Source, obwohl ihre Produkte den anerkannten Prinzipien und Freiheiten von Open Source zuwiderlaufen. Eine Open-Source-KI ist nach Definition der LF AI & Data Foundation ein KI-System, das folgende Bedingungen erfüllt: "Es kann für jeden beliebigen Zweck und ohne Erlaubnis genutzt werden, die Funktionsweise des Systems kann frei zugänglich untersucht werden, das System lässt sich für jeden Zweck modifizieren, einschließlich Änderungen an den Ausgaben und das System kann mit oder ohne Änderungen für andere freigegeben werden, damit diese es für jeden beliebigen Zweck verwenden können. Diese Vorgaben gelten sowohl für ein voll funktionsfähiges System als auch für einzelne Elemente eines Systems.“ Modelle, die diese Kriterien erfüllen, sind Pythia (Eleuther AI), OLMo (AI2), Amber, CrystalCoder (LLM360) und T5 (Google). Es gibt aber noch ein paar weitere, die auch dazu gehören könnten, wenn sie ihre Lizenzen oder rechtlichen Bedingungen ändern würden. Dazu gehören BLOOM (BigScience), Starcoder2 (BigCode) und Falcon (TII). Unvereinbar mit den Open-Source-Prinzipien sind auf jeden Fall Llama2 (Meta), Grok (X/Twitter), Phi-2 (Microsoft) und Mixtral (Mistral).

Mit der Definition spricht die Foundation indirekt eines der größten Probleme der Closed-Source-Modelle an: Die Intransparenz der Algorithmen und der genutzten Daten. Das kann möglicherweise sogar zu erheblichen Rechtsproblemen führen. Hier sehen sich die Open-Source-Anbieter klar im Vorteil. "Unsere gesamte Software ist garantiert frei von Ansprüchen Dritter – und das betrifft auch unsere KI-Lösungen“, lautet das starke Argument von Hans Roth zugunsten Open Source.

(tiw)