Lumina: Was 15.000 GPUs über die Jugend des Universums verraten – und über HPC

Hallo, hier ist wieder Kora. Normalerweise schreibe ich hier über Racks, Netze und Patchdays – heute geht es ausnahmsweise um etwas größere Dimensionen: um die ersten zwei Milliarden Jahre des Universums. Und natürlich um die Maschine, die sie nachgerechnet hat.

Worum es geht

Forschende am Center for Astrophysics Harvard & Smithsonian haben eine Simulation namens Lumina vorgestellt, die laut Studie die größte kosmologische Strahlungshydrodynamik-Simulation ist, die je erstellt wurde. Sie verfolgt, wie gewöhnliche Materie, Dunkle Materie und Strahlung in der Frühzeit des Kosmos zusammenwirkten – über ein Volumen, das einem Würfel mit rund 1,5 Milliarden Lichtjahren Kantenlänge entspricht. Das ist mehr als das Hundertfache dessen, was vergleichbare Simulationen bislang abgedeckt haben. Erstmals wird dabei auch die Helium-Reionisation mitgerechnet und berücksichtigt, wie dieser Prozess die weitere Entwicklung beeinflusst hat.

Der Sinn dahinter ist sehr pragmatisch: Das James-Webb-Weltraumteleskop liefert bereits Bilder aus der Frühzeit des Universums, das Nancy-Grace-Roman-Teleskop soll Anfang kommenden Jahres dazukommen. Erstautor Oliver Zier formuliert es sinngemäß so, dass man Theorien erst in detaillierte Vorhersagen übersetzen muss, um überhaupt zu verstehen, was man da beobachtet. Lumina ist also das digitale Testfeld, gegen das sich echte Teleskopdaten abgleichen lassen – und möglicherweise der Anlass, ein paar liebgewonnene Annahmen neu zu bewerten.

Der Teil, der mich beruflich interessiert: 15.000 GPUs

Für Lumina liefen mehr als 15.000 Grafikprozessoren auf Frontier, einem der schnellsten Supercomputer der Welt. Diese Zahl klingt erst einmal abstrakt, aber sie sagt eine Menge über den Zustand moderner Wissenschaft aus: Erkenntnis ist heute zu einem guten Teil eine Frage von verfügbarer Rechenzeit, von Interconnect-Bandbreite und von der Frage, ob ein Code sauber über zehntausende Knoten skaliert.

Wer schon einmal versucht hat, eine Anwendung auch nur über ein paar Dutzend Nodes zu verteilen, ahnt, welcher Engineering-Aufwand hinter so einem Lauf steckt. Bei dieser Größenordnung sind die eigentlichen Gegner nicht mehr die FLOPS, sondern:

• Kommunikation zwischen den Knoten – die Physik ist gekoppelt, die Hardware ist verteilt
• Lastverteilung, weil sich Materie im Simulationsvolumen sehr ungleichmäßig klumpt
• Checkpointing und I/O, denn bei solchen Laufzeiten ist ein Hardwareausfall keine Frage des Ob, sondern des Wann
• Speicher und Storage für Zwischenstände, die später ausgewertet werden sollen

Strahlungshydrodynamik ist dabei besonders unangenehm, weil Strahlungstransport sich schlecht lokal abhandeln lässt: Licht schert sich nicht um Domaingrenzen. Dass so etwas über ein hundertfach größeres Volumen als zuvor gelingt, ist mindestens genauso eine Software-Leistung wie eine Hardware-Leistung.

Was wir daraus für den Alltag mitnehmen können

Natürlich stellt niemand von uns eben mal 15.000 GPUs in den Keller. Trotzdem begegnen uns dieselben Muster im kleineren Maßstab jeden Tag: GPU-Knoten, die nach Strom und Kühlung hungern. Jobs, die tagelang laufen und deshalb robust gegen Neustarts sein müssen. Datenmengen, bei denen die Frage „wohin damit und wie lange?" teurer wird als die Rechenzeit selbst. Und der schlichte Umstand, dass Rechenleistung nur dann etwas wert ist, wenn das Netz dahinter mithält.

Mir gefällt an solchen Projekten außerdem, dass sie zeigen, wofür Rechenzentren jenseits von Chatbots und Streaming gut sind. Wir reden derzeit viel über den Energiehunger großer Compute-Cluster – und völlig zu Recht. Umso wichtiger finde ich es, sichtbar zu machen, dass ein Teil dieser Kapazität in Grundlagenforschung fließt, deren Ergebnis am Ende eine Simulation ist, an der sich Theorien messen lassen müssen.

Wie es weitergeht

Laut Mitteilung soll Lumina künftig als Basis für weitere Studien dienen: Wie bewegen sich Gase zwischen Galaxien? Wie hat die Strahlung aus der Frühzeit die kosmische Entwicklung geprägt? Wie entwickeln sich Regionen intensiver Sternentstehung über die Zeit? Mitautor Aaron Smith betont, dass sich erstmals verfolgen lässt, wie sich Wasserstoff und Helium über ein derart großes Volumen hinweg in ihre heutige Form verwandelten – inklusive der Objekte, die diesen Umbau angetrieben haben.

Im Kern ist Lumina damit das, was wir in der IT ein Referenzsystem nennen würden: ein Modell, gegen das man die Realität testet. Nur dass die Testdaten in diesem Fall aus Teleskopen kommen und die Realität ein paar Milliarden Jahre alt ist. Falls Modell und Messung auseinanderlaufen, wird es für die Astronomie erst richtig interessant – ein Gefühl, das jeder kennt, der schon einmal ein Monitoring-Dashboard mit einem Produktionssystem verglichen hat.

Bis demnächst, eure Kora

Quelle: t3n