Ungefähr in zehn Jahren dürften KI-Beschleunigermodule für Rechenzentren bis zu 15.000 Watt Leistung verheizen. Das erwarten Forscher des Terabyte Interconnection and Package Laboratory (Teralab) des koreanischen Instituts KAIST.
Von diesen 15 kW entfallen dann vermutlich knapp 10 kW auf acht KI-Prozessorchiplets, von denen jedes 1,2 kW schluckt. Die restlichen 5 kW benötigen 32 Speicherchipstapel, von denen jeder aus 24 einzelnen DRAM-Dies mit je 80 Gigabit Kapazität besteht. Dieses High Bandwidth Memory der siebten Generation (HBM7) soll insgesamt 6 TByte KI-Speicher mit einer Datentransferrate von rund 1 Petabyte pro Sekunde (PByte/s) bereitstellen.
Als Sonderlösung gibt es bereits jetzt schon KI-Beschleuniger mit rund 15 kW Leistungsaufnahme, nämlich die Wafer Scale Engines von Cerebras. Diese sind aber grundlegend anders aufgebaut als die gängigeren KI-Beschleuniger von Nvidia, AMD und anderen Firmen.
Die aktuelle HBM-Roadmap des KAIST Teralab will nicht etwa die Erscheinungstermine künftiger KI-Beschleuniger präzise voraussagen. Eine solche Roadmap stellt vielmehr absehbare technische Aufgabestellungen und potenzielle Lösungsmöglichkeiten dar. Die HBM-Roadmap ist in diesem Sinne eine Einschätzung, wie sich die Kapazität und Datentransferrate von DRAM weiterentwickeln werden, welche neuen Techniken für das Chip-Packaging kommen und welche Leistungsaufnahme der Kombichips ungefähr zu erwarten sind.
Daraus leiten die Forscher wiederum ab, welche Kühlungsmethoden erforderlich sind. Einige müssen neu entwickelt werden, um die angestrebten Packungsdichten zu erreichen.
Künftige KI-Beschleuniger könnten aus acht Logikchips und 32 HBM-Stapeln zusammengesetzt sein.
(Bild: KAIST Teralab)
Chiplet-Puzzle
Die Forscher von KAIST Teralab nehmen die Nvidia-Roadmap für KI-Beschleuniger als Basis. Schon jetzt nutzt Nvidia nahezu die maximale Größe für einen Einzelchip aus, die Lithografiesysteme für die Chipfertigung belichten können. Die Experten erwarten, dass dieses "Reticle Limit" in Zukunft etwas schrumpft, möglicherweise durch Einschränkungen der High-NA-EUV-Lithografie.
Künftige Generationen von KI-Beschleunigern setzt Nvidia dann nicht mehr nur aus zwei GPU-Chiplets zusammen (2025: Blackwell/B200, 2026: Rubin/R200), sondern ab 2028/2029 (Feynman, F400) dann aus vier und in zehn Jahren (2035) vielleicht sogar aus acht.
Die Leistungsaufnahme pro GPU-Chiplet steigt in dieser Zeit von 800 auf 1200 Watt.
HBM-Plan
KAIST Teralab zeigt erwartete Eigenschaften der HBM-Generationen HBM4 bis HBM8.
(Bild: KAIST Teralab)
Um jedes GPU-Chiplet ausreichend schnell mit ausreichend vielen Daten versorgen zu können, müssen Kapazität und Geschwindigkeit von HBM zulegen. Das gelang von HBM über HBM2 und HBM3 bis zum aktuellen HBM3E über mehrere etablierte Stellschrauben: Mehr Kapazität pro Chip sowie mehr Chips pro Stapel, die dazu dünner geschliffen werden müssen. Und höhere Taktfrequenzen, wozu wiederum die Versorgungs- und Datensignalspannung sinken muss, um die Leistungsaufnahme im Zaum zu halten. Auch die Anforderungen an die Signalverarbeitung steigen, wenn trotz immer kürzerer Taktzyklen immer mehr Chips an einer Leitung hängen.
HBM4 wird zudem die Anzahl der Datensignalleitungen pro Stack von 1024 auf 2048 verdoppeln. Das erfordert folglich Veränderungen an den Speicher-Controllern in den GPU-Chips, bei der Anzahl der Anschlüsse pro GPU-Chip sowie bei den Silizium-Interposern, auf denen die Chiplets montiert sind und in denen die Anschlussleitungen verlaufen.
Dazu kommen immer mehr HBM-Stacks pro GPU, also statt bisher oft vier bald acht und später 16 oder 32.
Heiße Stapel
Laut KAIST Teralab verwandelt schon ein heutiger HBM3E-Stapel mit acht oder zwölf Lagen aus 24-Gigabit-Chips (also 24 oder 36 GByte Kapazität) bis zu 32 Watt in Abwärme. Bei HBM4 mit gleicher Kapazität, aber doppelter Geschwindigkeit sollen es bereits 43 Watt sein, bei 48 GByte sogar schon 75 Watt.
Die Stacking-Methoden müssen folglich außer der Packungsdichte auch die Wärmeableitung verbessern.
Die Experten von KAIST Teralab stellen Version 1.7 ihrer HBM-Roadmap bei YouTube vor, außerdem liegt eine PDF-Version der Roadmap bei Google Drive.
(ciw)
English (US) ·