Ein Unternehmen, das KI-Modelle direkt in Silizium-Wafer einbrennt, wurde vom Halbleiterriesen AMD übernommen. Das 2023 in Toronto gegründete Startup Taalas behauptet, dass seine maßgeschneiderten Chips KI-Modelle 48-mal schneller ausführen als Top-GPUs und dabei bis zu 17.000 Tokens pro Sekunde bei deutlich geringerem Stromverbrauch ausgeben. Finanzielle Einzelheiten wurden nicht bekannt gegeben; der Abschluss der Transaktion wird für das vierte Quartal dieses Jahres erwartet. Während die KI-Branche einen Preiskampf um die laufenden Betriebskosten von Modellen führt, stellt die Übernahme durch AMD eine gewaltige Wette auf einen grundlegend anderen technologischen Pfad dar.
Was ist ein Modell: Eine lange Zahlenkette, ein Rezept
Um das Konzept „KI in Silizium einzuätzen“ zu verstehen, muss man zunächst begreifen, was ein KI-Modell eigentlich ist. Ein trainiertes großes Sprachmodell ist im Wesentlichen eine riesige Zahlenfolge – von einigen Milliarden bis zu mehreren Billionen –, in der Branche als „Gewichte“ (Weights) bekannt. Diese Zahlen bestimmen, wie die KI ihre Antworten formuliert. Sieht sie die Eingabe „Wie ist das Wetter“, schlägt sie „heute“ vor. Bildlich gesprochen gleicht ein Modell einem Kochrezept: Exakte Grammangaben für Mehl und Zucker sowie Backzeiten – alles als Zahlen dargestellt, die jeden Schritt beschreiben.
Wie führt eine GPU ein KI-Modell aus? Sie agiert wie ein universelles Kochgeschirr. Das Rezept liegt auf der Arbeitsfläche, die Zutaten stehen bereit, und die GPU liest das Rezept, während sie gleichzeitig abmisst und kocht. Der Vorteil liegt in der Vielseitigkeit: Sie kann jedes erdenkliche Rezept zubereiten. Der Preis dafür ist Ineffizienz: Jedes einzelne Gericht erfordert das erneute Lesen des Rezepts und erneute Abmessen der Zutaten, was Zeit und Strom kostet.
Taalas wählte einen völlig anderen Ansatz: Das Rezept wird direkt in den Boden des Topfes graviert. Der Topf selbst weiß intrinsisch, wie dieses spezielle Gericht zubereitet wird – kein Rezeptlesen, kein Abmessen. Man schaltet einfach die Hitze ein, und das Gericht ist fertig. Dieser „Topf“ ist für genau ein einziges Gericht maßgeschneidert – für ein konkretes KI-Modell. In dem Moment, in dem der Chip die Fabrik verlässt, sind die Zahlen des Modells als physikalische Schaltkreise dauerhaft im Silizium festverdrahtet. Dieser Chip kann nur dieses eine Modell ausführen und sonst nichts, aber bei diesem Modell erreicht er eine extrem hohe Geschwindigkeit.
Abbildung: Das HC1-Demonstrations-Board von Taalas. Das Modell ist als Hardware-Schaltkreis dauerhaft im Chip verankert. Quelle: taalas.com
17.000 Tokens pro Sekunde: Ein ganzes Buch in wenigen Sekunden
Taalas macht nicht nur theoretische Versprechungen. Im Februar dieses Jahres stellte das Unternehmen seinen ersten Testchip HC1 vor, der im 6-Nanometer-Verfahren bei TSMC gefertigt wurde. Darauf eingeätzt ist Metas Open-Source-Modell Llama 3.1 8B mit 8 Milliarden Parametern. In Tests generierte er 17.000 Tokens pro Sekunde. Ein Token ist die grundlegende Texteinheit für KI und entspricht etwa einem halben bis dreiviertel Wort.
Um diese Geschwindigkeit für Alltagsnutzer einzuordnen: Dienste wie ChatGPT liefern derzeit Text mit einer Geschwindigkeit von einigen Dutzend Tokens pro Sekunde an den Nutzer aus – das menschliche Auge kommt da gerade noch mit. 17.000 Tokens pro Sekunde entsprechen Zehntausenden von Wörtern pro Sekunde – ein Buch mit 100.000 Wörtern wird in etwa zehn Sekunden vollständig generiert. Offizielle Vergleichswerte geben an, dass der Chip 48-mal schneller ist als eine NVIDIA-GPU. Zieht man eine NVIDIA H200 GPU als Referenz heran (~230 Tokens/Sekunde gegenüber 17.000 Tokens/Sekunde), entspricht das fast dem 74-fachen. Unabhängig von der genauen Messbasis bleibt die Größenordnung eindeutig: eine Beschleunigung um das Mehrfache.
Abbildung: Offizieller Leistungsvergleich von Taalas zur Anzahl der Tokens pro Sekunde pro Nutzer für Llama 3.1 8B (NVIDIA H200 als Basis). Quelle: taalas.com
Aus ingenieurtechnischer Sicht handelt es sich hierbei um ideale Testdaten für einen einzelnen Nutzer und ein einzelnes Modell. Die reale Leistung im Rechenzentrum wird geringer ausfallen. Doch selbst wenn man die Werte halbiert, reicht das aus, um die Kostenrechnung der KI-Inferenz grundlegend zu verändern.
Warum das wertvoll ist: Jeder KI-Antwort verbrennt Geld
Der Betrieb von KI verursacht Kosten in zwei Hauptphasen. Das Training – das Füttern des Modells mit Daten – kostet pro Durchlauf über hundert Millionen Dollar, findet aber nur einmal statt. Die Inferenz – die Berechnung von Antworten bei jeder Nutzeranfrage – stellt hingegen fortlaufende Betriebskosten dar. Jedes Mal, wenn Sie ChatGPT eine Frage stellen, laufen im Hintergrund GPUs unter Volllast und verbrauchen Strom.
Die Inferenzkosten bilden derzeit den größten Engpass für die flächendeckende Verbreitung von KI. In den letzten zwei Jahren lieferten sich Technologieunternehmen Preisschlachten bei der Inferenz und senkten die API-Preise kontinuierlich, indem sie Marge gegen Marktanteile tauschten. Taalas bietet einen architektonischen Ausweg: Sobald das Modell in Silizium geätzt ist, müssen Hunderte Gigabyte an Gewichtsinformationen nicht mehr wiederholt aus dem Speicher ausgelesen und transportiert werden – die Schaltkreise selbst sind die Daten. In einem Interview im Februar erklärte Taalas, dass das Einätzen eines Modells in Silizium 100-mal günstiger sei als das Training eines führenden Modells. Obwohl diese Angabe des Unternehmens noch unabhängig überprüft werden muss, ist die Richtung plausibel: Wie hoch die Kosten für eine Maske oder einen Tape-out auch sein mögen, sie erreichen nicht die Kosten für das Training eines Modells mit hunderten Milliarden Parametern.
Universal-Kochgeschirr vs. Spezialtopf: Der Konflikt zweier Pfade
An diesem Punkt tritt der grundlegende Konflikt der Architekturen zutage.
GPUs repräsentieren den universellen Pfad: Sie können jedes beliebige Modell ausführen. Wenn sich Modelle weiterentwickeln, reicht ein Software-Update; die Hardware bleibt unverändert. Der Preis dafür ist Ineffizienz – um „alles berechnen zu können“, ist der Chip mit generischer Logik gefüllt, die Strom verbraucht, Wärme erzeugt und die Geschwindigkeit bremst.
Taalas repräsentiert den spezialisierten Pfad: Nur für ein einziges Modell entwickelt, mit extrem vereinfachten Schaltkreisen, die schnell, energiesparend und günstig sind. Der Preis dafür ist Starrheit – sobald der Chip die Fabrik verlässt, ist das Modell eingefroren. Physische Spielmodule folgten genau dieser Logik: Einstecken und sofort spielen mit extrem kurzen Ladezeiten. Wenn jedoch ein neues Spiel erscheint, muss ein neues Modul gekauft werden. Digitale Downloads können jederzeit aktualisiert werden, erfordern jedoch Wartezeit und Bandbreite.
Die Entwicklungszyklen von KI-Modellen liegen derzeit im Monatsbereich. Das auf dem HC1-Chip von Taalas eingeätzte Modell stammt aus Mitte 2024 und ist nach heutigen Maßstäben bereits veraltet. Wenn ein Modell aktualisiert wird, verändern sich die physikalischen Schaltkreise im Chip nicht mit. Kleine Anpassungen können zwar dynamisch eingespielt werden (über sogenannte LoRA-Adapter, vergleichbar mit Haftnotizen auf einem gedruckten Rezeptbuch); bei großen Modelländerungen ist jedoch ein neuer Tape-out – also die erneute Fertigung des Chips – erforderlich. Laut Taalas müssen bei einer Modelländerung nur zwei Metallschichten neu gestaltet werden, was deutlich günstiger ist als ein Neuentwurf von Grund auf. Dennoch erfordert dies Produktionskapazitäten in den Halbleiterfabriken. Welches Modell verdient es, fest in Silizium gegossen zu werden? Nur Modelle, die umfassend validiert wurden und für eine langfristige Nutzung bestimmt sind. Eine Fehlentscheidung verwandelt Serverracks voller Chips in Elektronikschrott.
Warum AMD diese Wette eingeht
NVIDIA dominiert den Markt für KI-Chips weitgehend. AMD versucht seit Jahren aufzuholen und hat leistungsmäßig bei der Hardware aufgeschlossen. Allerdings bleibt das Software-Ökosystem ein Hindernis – KI-Entwickler weltweit sind an die CUDA-Werkzeuge von NVIDIA gewöhnt. Ein direkter Kampf um die Vorherrschaft im Software-Ökosystem verspricht wenig Erfolg. AMD entscheidet sich daher für einen Ausweichschritt: Eine gezielte Wette im neuen Feld der modellspezifischen Inferenz-Chips.
Auch die Konkurrenz schläft nicht. NVIDIA schloss im vergangenen Dezember ein Lizenzabkommen über 20 Milliarden Dollar mit dem Inferenzchip-Hersteller Groq ab – mit demselben Ziel: KI-Inferenz schneller und günstiger zu machen. Beide Giganten wetten in dieselbe Richtung, wählen dabei jedoch unterschiedliche Mittel.
Der Gründer von Taalas, Ljubisa Bajic, ist ehemaliger CEO von Tenstorrent und früherer AMD-Mitarbeiter – die Übernahme ist somit gewissermaßen eine Rückkehr. Das Team wird in die KI-Sparte von AMD eingegliedert. Nach Analysen von The Register plant AMD vermutlich die Kombination von Taalas-Chips mit den hauseigenen Instinct-GPUs: Die GPUs übernehmen die anfängliche Eingabeverarbeitung, während die Taalas-Chips die blitzschnelle Antwortgenerierung ausführen. AMD äußerte sich offiziell zurückhaltend und erklärte lediglich, die Übernahme diene dazu, „für jede KI-Arbeitslast die passende Rechenlösung anzubieten“.
Abbildung: Produkt-Demonstration auf der offiziellen Website von Taalas. Quelle: taalas.com
Was das für alltägliche Nutzer bedeutet
Die Betriebskosten von KI schlagen sich letztlich in den Preisen für KI-Dienste nieder. Wenn das Einätzen von Modellen in Silizium die Inferenzkosten tatsächlich um eine Größenordnung senkt, wird KI günstiger und schneller. Erst dann wird die Integration in Smartphones, Fernseher, Autos und Haushaltsgeräte realistisch – Orte, an denen kein Platz für ganze Serverracks voller GPUs ist.
In den Diskussionen auf Hacker News bemerkte ein Nutzer: Apple sollte diese Firma kaufen und Modelle direkt in iPhone-Chips einbrennen, damit der KI-Assistent verzögerungsfrei und nahezu ohne Akkuverbrauch antwortet. Das ist ein naheliegender Gedanke, doch die Realität ist noch weit entfernt: Die HC1-Testplatine selbst ist groß, und das eingeätzte Modell stammt von vor zwei Jahren. Ein veralteter Schaltkreis im Smartphone stellt Nutzer vor die Frage: Wenn ein neues Modell erscheint – muss dann das gesamte Telefon ausgetauscht werden?
Dieser Architekturstreit ist noch nicht entschieden. Universelle GPUs wetten darauf, dass „sich Modelle kontinuierlich verändern“, während spezialisierte Chips darauf setzen, dass „einige Kernmodelle lange genug überleben werden“. Die ersten setzen auf Flexibilität, die zweiten auf maximale Effizienz. Wer gewinnt, hängt vom Wettlauf zwischen der Modell-Innovationsgeschwindigkeit und den Fertigungskosten der Chips ab. Nach dem Abschluss der Übernahme im vierten Quartal wird AMD mit realem Kapital eine erste Antwort liefern.
Referenz-Links:
- The Register: AMD acquires AI chip startup Taalas to boost inference performance by etching models into silicon
- Hacker News: AMD acquires Taalas Diskussions-Thread (item?id=49201970)
- AMD Offizielle Pressemitteilung: AMD Acquires Taalas to Advance Compute Solutions for Rapidly Growing AI Inference Market
- CNBC: AMD buys Taalas, startup that hardwires AI models into its silicon
- EE Times: AI Chip Startup Taalas Acquired By AMD
- Taalas Offizielle Website: HC1 Technology Demonstrator Produktseite
- Medium: A Look at Taalas’ HC1 Chip Reaching 16,000 Tokens per Second
