Nvidia führt die Konkurrenz an

Nvidia hat es wieder einmal geschafft! In den neuesten MLPerf-Benchmarks, oft als „Olympia des maschinellen Lernens“ bezeichnet, dominiert Nvidia erneut. Aber was ist MLPerf überhaupt? MLPerf ist ein standardisierter Test, der verschiedene Computersysteme im Bereich des maschinellen Lernens vergleicht. Die Ergebnisse zeigen, wie gut diese Systeme bestimmte Aufgaben erledigen können, und Nvidia hat hier beeindruckende Leistungen gezeigt.

Was macht Nvidia?

Bevor wir tiefer in die Materie einsteigen, ein kurzer Überblick: Nvidia ist ein führender Anbieter von Grafikprozessoren (GPUs), die nicht nur in Computerspielen, sondern auch in der Künstlichen Intelligenz (KI) eine zentrale Rolle spielen. Ihre GPUs beschleunigen die Rechenleistung von Computern erheblich, was besonders im Bereich des maschinellen Lernens von großem Vorteil ist.

Neue Tests, neue Erfolge

MLPerf hat zwei neue Tests eingeführt: einen für das Fein-Tuning großer Sprachmodelle (LLMs) und einen für Graph-Neuronale-Netze. Fein-Tuning bedeutet, ein bereits trainiertes Modell weiter zu spezialisieren, um es für bestimmte Aufgaben besser anzupassen. Graph-Neuronale-Netze werden in Bereichen wie Literaturdatenbanken, Betrugserkennung und sozialen Netzwerken eingesetzt.

Nvidia’s Hopper-Architektur hat dabei alle neun Benchmarks angeführt und in fünf davon Rekorde aufgestellt. Besonders beeindruckend: Ein System mit 11.616 Nvidia H100 GPUs absolvierte den GPT-3-Trainingstest in weniger als 3,5 Minuten. Zum Vergleich: Ein System mit 512 GPUs benötigte etwa 51 Minuten.

Effiziente Skalierung und technische Innovationen

Laut Dave Salvator, Direktor der beschleunigten Rechenprodukte bei Nvidia, ist die lineare Skalierung der Schlüssel zum Erfolg. „Wir erreichen eine nahezu lineare Skalierung“, sagt Salvator. Das bedeutet, dass doppelt so viele GPUs die Trainingszeit halbieren. Dies ist besonders wichtig für die zukünftigen „KI-Fabriken“, die 100.000 GPUs oder mehr beherbergen sollen.

Die kontinuierlichen Verbesserungen bei der Software sind ebenfalls ein wesentlicher Faktor. Seit der Einführung der Hopper-Architektur hat Nvidia durch Software-Optimierungen eine Leistungssteigerung von 27 Prozent bei den GPT-3-Benchmarks erzielt. Dazu gehört die Optimierung der Nutzung von 8-Bit-Gleitkommaoperationen und die Verbesserung der Kommunikation zwischen den GPUs.

Neue Benchmarks und ihre Bedeutung

Die neuen MLPerf-Benchmarks für Fein-Tuning und Graph-Neuronale-Netze sind auf die aktuellen Bedürfnisse der KI-Industrie zugeschnitten. Fein-Tuning wird beispielsweise verwendet, um ein bereits trainiertes Modell wie Llama-2-70B mit speziellen Datensätzen weiter zu trainieren. Graph-Neuronale-Netze hingegen werden verwendet, um große Mengen von miteinander verbundenen Knoten, wie soziale Netzwerke, zu analysieren.

Ausblick auf die Zukunft

Der Wettbewerb bleibt spannend. AMD, Intel und Google arbeiten an neuen Beschleunigern, die in den kommenden Jahren in den MLPerf-Benchmarks gegeneinander antreten werden. Nvidia plant bereits die nächste Architektur, Blackwell, die Ende dieses Jahres vorgestellt werden soll. Diese Fortschritte versprechen, die Landschaft des maschinellen Lernens weiter zu revolutionieren.

Bleib gespannt, denn die Entwicklungen in der KI-Technologie schreiten schnell voran und Nvidia setzt weiterhin Maßstäbe.

Mehr dazu: https://spectrum.ieee.org/mlperf-nvidia-conquers?utm_source=tldrnewsletter