Letzte Woche lagen zwei Nodes direkt aneinander, 391 Gb/s über zwei Rails, und
zwei Modelle liefen cross-node schneller als auf einer einzelnen Maschine. Die
Bandbreite war gelöst. Was ich damals nicht angefasst hatte: beide Modelle liefen
mit 65.536 Token Kontext, während sie 262.144 respektive 524.288 könnten.
Ein Viertel und ein Achtel des Möglichen. Das ist jetzt behoben, und der Weg
dahin hat zwei Dinge geliefert, die ich vorher nicht wusste.
Vor einer Woche hab ich einen UniFi-Switch überredet, lossless RoCE zu machen, was sein Datenblatt kategorisch ausschließt. Zwei 100G-Rails, PFC, das ganze Programm. Der Switch steht noch im Rack und macht seinen Job. Er ist nur nicht mehr im Pfad, der mich interessiert.
Denn zwei der Nodes liegen jetzt direkt aneinander. Kein Switch dazwischen, 2×200G ConnectX, Kabel von Karte zu Karte. Und die Zahl, die dabei rauskam, ist unspektakulär präzise: exakt Faktor 2,00.
Wer die früheren Posts gelesen hat, kennt mich schon ein bisschen: ich betreibe ein GPU-Cluster unten im Keller, und ich stecke lieber ein Wochenende da rein als zur Kreditkarte zu greifen. Man hört die Lüfter durch die Decke hochdrehen, wenn was richtig arbeitet. Das hier ist die Geschichte von so einem Wochenende. Dem, an dem ich einem Switch was beigebracht hab, das sein Datenblatt kategorisch ausschließt.
Der Cluster macht seit Monaten Inference, leise, jedes Modell auf seiner eigenen Karte. Das lief, bis das erste Modell ankam, das nicht mehr auf eine einzelne GPU passte. Ein größeres Modell auf eine Kiste zu quetschen bringt dich nur so weit. Tensor-Parallelismus innerhalb einer Maschine, TP=8 über die GPUs in dem Chassis, ist unkompliziert: die teilen sich NVLink oder PCIe, der Interconnect ist schnell und lokal. Aber sobald du was richtig Großes fahren willst, und in den anderen Hosts liegt VRAM ungenutzt herum, musst du breiter gehen als eine Kiste. TP=16 über zwei Maschinen, oder mehr. Sobald Tensor-Parallelismus die Host-Grenze überschreitet, ist das Netz kein Rohr mehr, sondern das, was entscheidet ob es überhaupt funktioniert.
Eine unserer GPUs betreibt zwei Dinge gleichzeitig. Ein Text-to-Speech-Dienst und ein Worker, die sich dieselbe physische Karte über MPS teilen. Das ist gewollt: Die beiden zusammen lasten eine Karte sauber aus, und getrennt hätte jeder eine eigene verschwendet.
Klingt gelöst. War es nicht. Der Scheduler hat die eine Karte doppelt gezählt, den Node auf used: 2, capacity: 1 gesetzt, und ihn damit für jeden weiteren Pod dichtgemacht — auch für welche, die gar keine GPU wollten. Ein Node mit einer freien Karte, der behauptet, er hätte keine.
In einem Wahlkampfsaal in Florida steht ein junger Mann auf der Bühne und sagt einen Satz, der ihm den größten Applaus des Abends einbringt: Er werde keine neuen Rechenzentren bauen. Markus Lanz hat das beobachtet, und für ihn ist dieser Applaus ein Menetekel. Die große KI-Euphorie, sagt er in der neuen Folge von “Lanz & Precht”, sei “komplett vorbei”.
Ich schätze diesen Podcast, und ich schreibe das hier nicht gegen die beiden. Es geht mir um ein Argument, nicht um zwei Personen. Aber dieses eine Argument ist falsch, und es ist auf eine Weise falsch, die eine lange Geschichte hat. Als jemand, die jeden Tag mit dieser Technologie arbeitet, kenne ich die Sätze aus der Folge. Es sind fast wörtlich die Sätze, die man vor dreißig Jahren über das Internet gesagt hat.
Jeder zählt GPUs. Die Pressemitteilungen zählen sie, die Funding-Rounds zählen sie, die Datacenter-Ankündigungen zählen sie. Compute ist die Zahl, die headlines macht.
Ich betreibe einen kleinen GPU-Cluster. Nichts im Hyperscaler-Maßstab, aber genug, um zu spüren, wo es tatsächlich reißt. Und das, was reißt, ist fast nie das Compute. Es ist Memory. Wie viel ich habe, wie schnell ich es bewegen kann, und in letzter Zeit, was es kostet.
Das ist kein Hot Take. Das ist, was die Hardware jedem sagt, der die Zahlen eine Weile lang ansieht. Der Engpass hat sich verlagert, und die meiste Berichterstattung hat das nicht mitgekriegt.
Seit drei Wochen betreibt ein Agent mein GPU-Cluster. Er skaliert Blackwell-Karten hoch und runter, wählt Nodes aus, und gibt Silizium frei, wenn niemand rendert.
Kein autonomes Wunder. Er läuft nur die Schleife, die ich früher manuell überwacht habe. Hier ist die ehrliche Bilanz dessen, was das mir beigebracht hat, inklusive der Teile, die für LinkedIn zu lang waren.
