KI-Entwickler zeigen mehr Transparenz, doch es bleibt Luft nach oben

In der Welt der Künstlichen Intelligenz (KI) spielt Transparenz eine immer wichtigere Rolle. Ein aktueller Bericht zeigt: Entwickler von KI-Modellen werden transparenter, doch es gibt weiterhin viele Bereiche, in denen Nachholbedarf besteht.

Ein halbes Jahr später: Was hat sich geändert?

Der Foundation Model Transparency Index (FMTI), erstmals im Oktober 2023 veröffentlicht, bewertet die Transparenz von führenden KI-Entwicklern. Damals lag der Durchschnittswert bei nur 37 von 100 Punkten, mit einem Spitzenwert von gerade einmal 54 Punkten. Sechs Monate später, im Mai 2024, zeigt der neue Index deutliche Verbesserungen. Der Durchschnittswert stieg auf 58 Punkte, und die besten Unternehmen erreichten beeindruckende 85 Punkte. Diese Fortschritte sind beachtlich, aber längst nicht ausreichend.

Wo glänzen die Entwickler und wo gibt es Nachholbedarf?

Der neueste Index bewertet 14 Unternehmen, darunter auch Neuzugänge wie IBM und Mistral. Diese Unternehmen mussten detaillierte Berichte zu ihren Flaggschiff-Modellen vorlegen, die Aspekte wie den Energieverbrauch bei der Modellierung umfassen. Die Ergebnisse sind gemischt: Während einige Unternehmen in Bereichen wie Modellfähigkeiten und Dokumentation für Endanwender glänzen, herrscht in anderen Bereichen weiterhin Dunkelheit. Besonders problematisch sind die mangelnde Transparenz bei der Datennutzung und den Bewertungen der Vertrauenswürdigkeit der Modelle. Auch die Auswirkungen der Modelle auf verschiedene Märkte und Länder bleiben oft im Verborgenen.

Beispiele für Transparenzgewinne

Einige Unternehmen haben beeindruckende Fortschritte gemacht. AI21 Labs beispielsweise verbesserte seine Punktzahl von 25 auf 75. Dies zeigt, dass erhebliche Transparenzgewinne möglich sind, wenn die Entwickler bereit sind, mehr Informationen preiszugeben. Im Bereich der Berechnungsressourcen stieg die durchschnittliche Transparenz von 17% auf 51%, was darauf hinweist, dass mehr Unternehmen jetzt Angaben zu Hardware und Energiebedarf machen.

Anhaltende Herausforderungen

Trotz der Verbesserungen gibt es immer noch viele Bereiche, in denen fast alle Entwickler nicht transparent genug sind. Datenbezogene Informationen wie der Urheberrechtsstatus und das Vorhandensein personenbezogener Daten werden selten offengelegt. Ebenso fehlt oft eine klare Darstellung der Auswirkungen der Modelle auf verschiedene Marktsektoren und Länder. Diese systemische Intransparenz ist ein großes Problem, das angegangen werden muss, um das Vertrauen in KI-Modelle zu stärken.

Der Weg in die Zukunft

Der Foundation Model Transparency Index wird weiterhin dazu beitragen, die Transparenz in der KI-Branche zu messen und zu fördern. Die Ergebnisse des Mai 2024 zeigen zwar Fortschritte, aber auch erheblichen Verbesserungsbedarf. Die Entwickler müssen kontinuierlich daran arbeiten, ihre Praktiken offenzulegen und den Anforderungen von Regierungen und der Öffentlichkeit gerecht zu werden. Nur so kann das volle Potenzial von KI verantwortungsvoll genutzt werden.