LLMs: Wundermaschine oder doch begrenzt?

Vielleicht hast du es schon geahnt, aber es lohnt sich, es noch einmal klar zu formulieren: Sprachmodelle (LLMs) sind nicht die besten Werkzeuge für wirklich effektives Brainstorming, insbesondere wenn es um fortschrittliche und innovative Ideen geht.

Die Grenzen der Kreativität von LLMs

Bevor wir tiefer einsteigen, lass uns anerkennen, dass LLMs tatsächlich eine gewisse Form von unabhängiger und kreativer Denkweise besitzen. Wenn du genug Zeit mit Modellen wie GPT-4 verbracht hast, wirst du sicherlich Beispiele gesehen haben, bei denen LLMs in Bereichen wie Programmierung, Geschäftsanalysen oder anderen Kontexten kreative Lösungen präsentiert haben. Der technische Bericht des ursprünglichen GPT-4-Modells liefert ebenfalls Beweise dafür.

Doch hier ist der Knackpunkt: Besonders in Grenzbereichen sind LLMs keine guten Werkzeuge für wirklich effektives Brainstorming. Der Grund dafür liegt in ihrer Trainingsweise. LLMs sind darauf trainiert, existierende Muster im menschlichen Sprachkorpus zu folgen und nicht nativ zu „brainstormen“. Ihr Hauptziel ist es, die probabilistische Verteilung der Eingabedaten zu imitieren und als Nebenprodukt lernen sie einige Logik- und Deduktionsregeln des menschlichen Denkprozesses. Dies erlaubt ihnen eine gewisse Kreativität, jedoch mehr im Sinne der „Extrapolation“ eines Musters, d.h. „Was würde eine gebildete Person sagen, wenn sie vor einer solchen Frage steht?“ und nicht unbedingt wirklich innovativ zu sein.

Konsens statt Innovation

LLMs neigen dazu, sich an den Konsens der vorhandenen Daten zu halten, die menschliche Diskussionen und Schlussfolgerungen zu einem bestimmten Thema enthalten. Ein Beispiel: Wenn du LLMs um Hilfe beim Brainstorming von Startup-Ideen bittest, verweisen sie oft auf Ideen, die zumindest teilweise in den Medien behandelt wurden (Buzzwords). Hier sind zwei zusätzliche Beobachtungen:

1. Die Ideenlisten sind oft sehr ähnlich zwischen verschiedenen LLMs, obwohl es keine einzelne Webseite oder Artikel gibt, der eine solche Liste direkt im Internet bereitstellt. Dies deutet darauf hin, dass trotz unterschiedlicher Datenverarbeitung, Trainingsmethoden und Evaluierungsmethoden die Tendenz zur Konsensbildung bei fast allen großen LLMs universell vorhanden ist.
2. Die Häufigkeit und Bevorzugung von Ideen steht in etwa im Einklang mit der Aufmerksamkeit, die diesen Ideen von den Medien und Hauptinformationsquellen gewidmet wird. Dies überschattet oft die Bemühungen, diese Ideen nach ihrer tatsächlichen Praktikabilität und Kreativität zu bewerten.

Fehlende Kreativität bei neuen Themen

Noch problematischer wird es, wenn wir LLMs zu Themen befragen, zu denen es keinen aktuellen Konsens gibt. Dann verhalten sich die LLMs nicht auf kreativere und unabhängigere Weise (wie wir es erhofft hatten), sondern sind anfälliger für Probleme wie Halluzinationen. Hier ist besondere Vorsicht geboten, wenn man die Ratschläge von LLMs in solchen Fällen berücksichtigt.

Als Ergebnis können LLMs heute nur für durchschnittliche Brainstorming-Sitzungen verwendet werden. Für wirklich bahnbrechende Probleme können LLMs ohne Vorwissen und Intuitionen über potenzielle Richtungen, die ihnen fehlen, keine nützlichen Einsichten bieten, außer Klischees, wenn nicht sogar schlechtere Leistungen.

Mögliche Lösungen?

Obwohl ich kein Experte für das Training von LLMs bin, hier sind einige Ideen, die helfen könnten:

1. Ein gutes Feinabstimmungsdatenset kuratieren, das gute Brainstorming-Beispiele zu nicht-konventionellen Themen enthält, die von menschlichen Experten und Innovatoren in verschiedenen Bereichen erstellt wurden. Es wird sicherlich viel teurer sein, ein solches Datenset zu erstellen.
2. Methoden wie RLAIF verwenden, um die Antworten des LLM aus dem Blickwinkel der Kreativität zu kritisieren, beurteilt vom LLM selbst. Die Annahme hier ist, dass der allgemeine Standard der Kreativität im regulären LLM-Training erlernbar ist. Es ist jedoch noch unklar, ob dies bei wirklich fortschrittlichen Problemen (wo das Kreativitätsurteil möglicherweise ebenfalls dynamisch und unkonventionell ist) funktionieren kann.
3. Ein weniger klarer Ansatz wäre, den Trainingsprozess so zu ändern, dass er nicht einfach bestehenden Datenmustern folgt, sondern tatsächlich Wissen, Denk- und Deduktionsfähigkeiten sucht. Dies könnte einige große (sogar philosophische) Themen im Feld berühren:
   • Brauchen wir ein Weltmodell?
   • Ist autoregressiv das richtige Paradigma für AGI?
   • Brauchen wir echtes Feedback aus der realen Welt, um tatsächlich AGI zu erreichen?

Es gibt immer noch die Möglichkeit, dass dies innerhalb des aktuellen Schemas erreicht werden kann, z.B. indem man es zu einer generalisierten Form der Kompression macht. (Es könnte davon abhängen, was die wahre Fähigkeit der menschlichen Sprache ist – ist sie nur ein Kommunikationsmittel oder eine der wahren Formen der Intelligenz selbst? Dies ist ebenfalls ein interessantes Thema).

LLMs haben zweifellos beeindruckende Fähigkeiten, aber ihre Anwendung im Bereich des fortschrittlichen Brainstormings bleibt begrenzt. Wenn du wirklich bahnbrechende Ideen entwickeln möchtest, bleibt der menschliche Geist unübertroffen.