Europas Exascale-Rechner Jupiter: Containerdorf statt RZ-Halle

vor 2 Tage 1

Im Forschungszentrum Jülich nimmt der schnellste Rechner Europas Gestalt an. Ungewöhnlich ist nicht nur seine Leistungsfähigkeit sondern auch sein Ausfbau. Der Hersteller liefert ihn komplett montiert im Container aus. So entsteht mit dem Modular Data Centre (MDC) das erste Rechenzentrum eines deutschen Forschungsinstituts in Containerbauweise. Dank Wärmerückgewinnung gilt Jupiter schon jetzt als der künftig grünster Rechner der Welt.

In Europa warten Wissenschaftler sehnsüchtig auf den leistungsstärksten HPC-Boliden des Kontinents, den Exascale-Rechner Jupiter. Westlich von Köln, auf dem Gelände des Forschungszentrums Jülich wäre jetzt alles bereit – was fehlt, ist Jupiter selbst. Der Name ist nicht zufällig gewählt, eigentlich die Kurzform von „Joint Undertaking Pioneer for Innovative and Transformative Exascale Research“, ist es auch der höchste Gott des römischen Reichs, Pendant des griechischen Zeus, und der größte Planet unseres Sonnensystems.

Bei doppelter Genauigkeit erreicht Jupiter die exklusive Exascale-Klasse. Das sind HPC-Rechner, die mehr als 1 Trillion Gleitkommaoperationen pro Sekunde ausführen können. Für das Training von KI-Modellen reicht meist eine Genauigkeit von 8 Bit. Dann schnellt die Rechenleistung auf 70 Trillionen hoch. Damit wäre Jupiter dann der schnellste KI-Rechner der Welt. Rechenzeiten auf solchen Boliden sind begehrt und regelmäßig um den Faktor 2 überzeichnet. Ein wissenschaftliches Auswahlverfahren klärt ab 2025 den Zugang, denn dann gehört Jupiter der Forschung. Noch allerdings sind es Bauarbeiter, die sich um ihn kümmern.

Eine halbe Milliarde Euro

Im Juni 2022 entschied die europäische Supercomputing-Initiative EuroHPC JU, dass der erste europäische Exascale-Rechner in Jülich entstehen wird und setzte das Budget auf eine halbe Milliarde Euro fest. Die Hälfte bezahlt die EU, die andere Hälfte teilen sich das Bundesministerium für Bildung und Forschung (BMBF) und das Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen (MKW NRW). Von den 500 Millionen Euro gehen 273 Millionen Euro an den Hersteller, das ParTec-Eviden Supercomputer Consortium, für die Hardware inklusive Software, Service und Support über 5 Jahre. Den Rest verschlingen Strom und sonstige Unkosten, etwa für das Personal.

Im November hätte man nach der ursprünglichen Planung die Inbetriebnahme mit Bundesminister und Staatssekretär feiern wollen. Doch Pandemie und die eine oder andere technische Hürde verzögerten den Bau. Nun wird in Jülich die Osterzeit 2025 als Termin gehandelt. Irgendwann in der ersten Jahreshälfte, so die Verantwortlichen, soll sich der komplette Rechner der finalen Abnahme stellen. Spätestens dann werden alle wissen, wie viele von Nvidias Grace-Hopper-Superchips, die Hopper-GPUs und Grace-CPUs vereinen, Jupiter spendiert wurden, um die vertraglich vereinbarten Exascale zu erreichen. Geplant sind etwa 6000 Knoten mit fast 24.000 Grace-Hopper-Superchips.

Derzeit existieren zwei kleinere Ausbaustufen. Die erste, das Jupiter Exascale Development Instrument JEDI, zog mit 19.584 Cores und 4,5 PFlops bereits im Juni auf Platz 189 in die TOP500 ein. Die zweite Vorversion, das JUPITER Exascale Transition Instrument, kurz JETI, schaffte es letzte Woche mit knapp 400.680 Kernen und 83,14 PFlops in die neue, 64ste Liste der TOP500 auf Platz 18. Beide stehen im aktuellen Supercomputerzentrum mit seinen Büros, Seminarräumen und dem riesigen RZ aus der Zeit der Mainframe. An ihnen können die Wissenschaftler die neue Technik erproben und kennenlernen.

Container: schneller und günstiger

Jupiter selbst sollte eigentlich in ein schmuckes neues Rechenzentrum hinter dem jetzigen einziehen. Doch wurde der Neubau nach Pandemie und gestiegenen Baukosten zu teuer, das mehrstöckige Gebäude gestrichen. Doch nicht nur die Kosten sprachen inzwischen gegen solch eine Standardkonstruktion, sondern auch der enge Zeitrahmen bis zur Inbetriebnahme. "Daher haben wir uns entschieden, kein klassisches Rechenzentrum zu errichten, sondern ein modulares Gebäude in Containerbauweise. Das geht schneller und ist günstiger", sagt Benedikt von St. Vieth, in Jülich zuständig für den Aufbau des neuen Rechners.

Dieses Containerdorf, genannt Modular Data Centre (MDC), wird aus rund 50 Containern aufgebaut, die das IT-Unternehmen Eviden der Atos-Gruppe fertigt und liefert. Jedes Element besteht aus einem Doppelcontainer, der in Form und Abmessung den Seecontainern der Schifffahrt ähnelt. Solch ein Doppelcontainer enthält 20 Racks, in denen die etwa 6000 Server untergebracht sind. Jedes Modul besitzt eigene Transformatoren für die Stromversorgung und ein eigenes Kühlsystem. Diese höchst ungewöhnliche Konstruktion ist vor allem flexibel, so der Hersteller, alte Server lassen sich so schneller durch neue ersetzen. Außerdem könnten Container mit komplett anderer Hardware, wie Neuromorphe Computer oder Quantenrechner, schnell und unkompliziert das Containerdorf bereichern.

Geplant ist neben dem eigentlichen Exascale-Rechner, genauer dem Jupiter Booster Module, das die Floatingpoint-Performance liefert, ein zweites Jupiter-Modul, der Jupiter Cluster. Er soll 2027, also etwa zwei Jahre nach Fertigstellung von Jupiter Booster, errichtet werden. Seine etwa 1300 Knoten sind dann vor allem Vektorberechnungen vorbehalten. Auch hier ist die exakte Zahl noch offen. Geplant sind auch für die Knoten des Jupiter Cluster Systeme vom Typ BullSequana XH3000 der französischen Firma Eviden/Atos, allerdings bestückt mit dem europäischen Rhea1-Chip von SiPearl. Auf x86-Prozessoren von AMD oder Intel verzichtet Jupiter komplett. Jupiter Cluster soll in drei Jahren 5 PFlops zur Verfügung stellen.

Bereits fertig ist die 85 x 42 m² große, topfebene Betonplatte. Vorhanden sind auch die Leitungen für die Abwärme und die ersten Container. Sie werden den Eingangsbereich zum Containerdorf bilden. Anfang November wurde zudem die Datahall geliefert, der Ort für die Speicherssteme. Sie bestehen aus drei Einheiten: dem 21 PByte großen Flash-Modul ExaFLASH, dem hochkapazitiven ExaSTORE mit parallelem Clusterdateisystem und einem Tape-Modul für Backup und Archive. Die USV (Unabhängige Spannungsversorgung) ist auch schon da und noch vor Weihnachten sollen die ersten Blades vom Typ BullSequana XH3515-HMQ ankommen. Natürlich anschlussfertig eingebaut in ihren Containern.

Der grünste Supercomputer

Erst bei Fertigstellung werden die Verantwortlichen auch wissen, wie viel Strom ihr Superrechner zieht. Kalkuliert wird der Verbrauch bei normalem Betrieb auf 9 bis 11 MW, die maximale Leistungsaufnahme dürfte 17 MW betragen. Damit wurde bereits auf dem Campus die Energieversorgung aufgerüstet. Die bisherigen redundanten 2x40MVA-Transformatoren hat der Netzbetreiber Westnetz durch 2x60-80MVA-Transformatoren ersetzt. Trotzdem wird Jupiter einer der „grünsten“ HPC-Boliden der Welt sein, denn er holt aus jedem Megawatt besonders viel Rechenleistung heraus. Zum einen entstammt der Strom laut Vertrag mit dem Energieversorger grünen, erneuerbaren Quellen, zum anderen wird die Abwärme sinnvoll genutzt.

Wasserleitungen transportieren die Abwärme in die nahen Bürogebäude. Wärmetechnisch ist der Superrechner so etwas wie ein sündteurer Durchlauferhitzer, der Institutsgebäude heizt. Die Abwärme verlässt den Rechner mit über 40 °C. Ausreichend heiß, um Heizungsanlagen auf dem Campus zu versorgen. Abgekühlt auf 36 Grad strömt dass Wasser wieder in den Rechner.

Für Notfälle sind wohl auch Wärmetauscher auf dem Dach geplant, wie sie auf dem Dach des bisherigen Rechenzentrums stehen und die die Wärme in die Umgebung abgeben. Das ist effektiv, aber eben auch eine Energieverschwendung. Die Warmwasserkühlung mit anschließender thermischer Nutzung in einem Gebäude ist der einzig gangbare Weg, die Abwärme zu nutzen, statt sie in die Umgebung abzugeben und so zu verschwenden.

Ob die neue Container-Konstruktion auch mit Starkregen und anderen klimatischen Widrigkeiten klarkommt, wird sich zeigen. Weltweit stehen die meisten Supercomputer in gut geschützten Räumen mit strickter Zugangskontrolle. Das Containerdorf hingegen wird am Rand eines Waldstücke errichtet.

(sun)

Gesamten Artikel lesen