Am Anfang war es GPT-3, mit seinen 175 Milliarden Parametern. Dann kamen sie PaLM, Megatron-Turing, Chinchilla usw, und die Parameter durchbrachen die 1000-Milliarden-Schwelle. Dabei handelt es sich um das LLM (Large Language Model), Modelle, die auf riesigen Textmengen trainiert wurden, um die menschliche Sprache zu imitieren. Und sie sind zu den unbestrittenen Protagonisten im Wettlauf um künstliche Intelligenz geworden. Aber es gibt ein Problem.
Je größer und ausgefeilter diese Modelle werden, desto mehr Energie verschlingen sie. Und die Verbesserungen, die sie erzielen, scheinen nur einem linearen Wachstum zu folgen, nicht einem exponentiellen Wachstum wie die Kosten. Es ist das Signal dafür, dass vielleicht die begehrte AGI, allgemeine künstliche Intelligenz, erreicht werden kann fähig, wie (oder mehr als) Menschen zu denken Ein Paradigmenwechsel ist erforderlich. Dass die Antwort nicht nur in Big Data liegt, sondern in effizienteren und „rationelleren“ Architekturen.
Das LLM-Paradoxon
Um es klar zu sagen: Große Sprachmodelle sind ein Wunderwerk menschlichen Einfallsreichtums. Sie haben gelernt, die Feinheiten der Sprache mit einer unglaublichen Meisterschaft zu beherrschen. Sie sind in der Lage, Artikel zu schreiben, Fragen zu beantworten, komplexe Konzepte zusammenzufassen, zwischen Dutzenden von Sprachen zu übersetzen und wissen jetzt sogar, wie man Code generiert. Manchmal glaube ich nicht, dass ich übertreibe, sie scheinen die tiefe Bedeutung der Texte zu erfassen und haben ein fast menschliches Verständnis der Welt.
Bereits. Fast.
Doch je mehr wir sie unter Stress setzen, desto deutlicher werden ihre Grenzen deutlich: Sie sind zwar sehr gut darin, Muster zu erkennen und Stile nachzuahmen, aber nicht im selbstständigen Denken. Hinter der glitzernden Fassade ihrer sprachlichen Leistungen verbirgt sich keine wirkliche Intelligenz, keine Schlussfolgerung und keine Fähigkeit zur Problemlösung, die nicht mit den Daten verknüpft ist, auf deren Grundlage sie trainiert wurden. Nichts.
Und um auch nur diese Teilergebnisse zu erzielen, benötigen LLMs übermäßig viel Energie. Es genügt zu sagen, dass das Training von GPT-3 auf energetischer Ebene „kostspielig“ war. Das entspricht einem 700-fachen Flug zwischen New York und San Francisco. Ein enormer ökologischer und wirtschaftlicher Aufwand, der mit jedem Maßstabssprung der Modelle exponentiell wächst. Es ist, als müssten wir jeden Monat sein Gehalt verdoppeln, um die Produktivität eines Arbeiters zu steigern. Eine auf lange Sicht nicht nachhaltige Dynamik.
Der Funke war nicht da
Aber es ist nicht nur eine Frage des Kosten-Nutzen-Verhältnisses. Es gibt ein tieferes Problem, mit dem LLMs zu kämpfen haben und das ihre Ambitionen untergräbt, die Grundlage für allgemeine künstliche Intelligenz zu werden. Und es ist der Mangel an abstraktem Denken, an wahrem „Gedanken“ jenseits oberflächlicher Analogien.
Einige Forscher hofften, dass diese Art von Fähigkeit spontan aus LLMs „entstehen“ könnte, sobald ausreichend große Parameter und Datensätze erreicht würden. Die Idee war, dass je mehr Informationen und Rechenleistung man dem Modell zufügt, desto mehr beginnt es, eine eigene Intelligenz zu entwickeln, die nicht nur die menschliche Sprache nachahmt, sondern auch die zugrunde liegenden kognitiven Prozesse.
Bisher gibt es jedoch keine Anzeichen für diesen „Notstand“. Selbst die fortgeschrittensten LLMs verlieren sich in bedeutungslosen Vermutungen und Halluzinationen, wenn sie mit Aufgaben konfrontiert werden, die logisches Denken, Planung und unkonventionelle Kreativität erfordern. Es scheint, dass Intelligenz, echte Intelligenz, nicht nur eine Frage ungeheuer brutaler Statistiken ist, sondern unterschiedliche Architekturen und Lernprozesse erfordert, die noch weitgehend entdeckt werden müssen.
Die neuen Wege für allgemeine künstliche Intelligenz
Die Schwierigkeiten, die LLMs aufweisen, sind die Grundlage dafür, dass viele Forscher nach alternativen Wegen suchen, um das Endziel der AGI zu erreichen. Eine davon ist die Kategorietheorie, ein Zweig der abstrakten Mathematik, der Beziehungen zwischen algebraischen Strukturen untersucht. Einige Startups, wie Symbolik, glauben, dass es den theoretischen Rahmen für den Aufbau künstlicher Intelligenzsysteme bieten kann, die in der Lage sind, symbolische Darstellungen der Welt und nicht nur statistische Assoziationen zwischen Wörtern zu entwickeln.
Ein weiterer vielversprechender Trend ist der von „Zielorientierte“ KIDas heißt, es ist darauf ausgelegt, bestimmte Ziele in komplexen dreidimensionalen Umgebungen zu erreichen und dabei sowohl auf physische als auch auf sprachliche Weise mit Objekten und Agenten zu interagieren. Die Idee ist, dass Intelligenz nicht im luftleeren Raum entsteht, sondern sich dadurch entwickelt die Verkörperung, Handlung, die in der Welt verkörpert ist, genau so, wie es Kindern widerfährt. Es überrascht nicht, dass dies geschätzt wird Ein 4-jähriges Kind hat durch multisensorische Erkundung der Umwelt bereits etwa das 50-fache der Daten des derzeit größten LLM verarbeitet.
Dies sind nur zwei der neuen Grenzen, die sich im Bereich der künstlichen Intelligenz eröffnen, um die Einschränkungen von LLMs zu überwinden und der AGI wirklich näher zu kommen. Grenzen, die nicht nur technologische Fortschritte erfordern, sondern vor allem auch ein tiefgreifendes Umdenken darüber, was Intelligenz ist und wie sie in künstlichen Systemen entstehen kann.
LLM, (künstliche) Intelligenz existiert hier nicht mehr
Ich komme zum Punkt. Seit Jahrzehnten ist künstliche Intelligenz in einem Paradigma der rein symbolischen Manipulation „gefangen“, das auf der Idee basiert, dass Denken im Wesentlichen darin besteht, Zeichenfolgen abstrakter Symbole gemäß syntaktischen Regeln zu verarbeiten. Es ist das Paradigma, das Expertensysteme und semantische Suchmaschinen hervorgebracht hat und das letztendlich die Grundlage aktueller LLMs bildet, wenn auch durch Datensätze und neuronale Architekturen erweitert.
Aber vielleicht ist es genau dieses „körperlose“ und reduktionistische Paradigma, das den eigentlichen Engpass gegenüber AGI darstellt. Vielleicht ist Intelligenz nicht nur ein Algorithmus, der auf einem Computer ausgeführt wird, sondern eine entstehende Eigenschaft komplexer Systeme, die dynamisch mit einer Umgebung interagieren, diese verändern und sich in einem kontinuierlichen Zyklus aus Wahrnehmung, Handeln und Lernen verändern lassen.
Um eine wirklich allgemeine künstliche Intelligenz zu schaffen, müssen wir uns vielleicht mehr von der einzigen allgemeinen Intelligenz inspirieren lassen, die wir kennen, nämlich der biologischen Intelligenz mit ihrer verteilten Architektur, ihrer neuronalen Plastizität und ihrer sensomotorischen Verankerung in der Welt. Und vielleicht müssen wir auch erkennen, dass Intelligenz kein zu erreichendes Ziel ist, sondern ein sich ständig weiterentwickelnder Prozess, der keine vordefinierte endgültige Form hat.
Das bedeutet nicht, dass LLMs nutzlos sind oder weggeworfen werden sollten
Im Gegenteil: Sie stellen einen wichtigen Schritt in der Entwicklung der KI dar und bieten noch viele praktische Anwendungen, die erforscht werden müssen. Aber vielleicht ist es an der Zeit, die messianischen Erwartungen, die viele geäußert haben, zurückzuschrauben und ihre intrinsischen Grenzen als Kandidaten für allgemeine künstliche Intelligenz anzuerkennen.
Sollte es jemals dazu kommen, wird AGI wahrscheinlich kein körperloses Superhirn sein, das in 1000 Sprachen plappert, sondern ein integrierter und verkörperter Agent, der von der Welt lernt und sie transformiert, ein bisschen wie wir Menschen. Und um dorthin zu gelangen, braucht es nicht nur viel mehr Energie, sondern vor allem auch viel mehr Fantasie.
Die Grenze des Möglichen
Ich denke, es geht nicht einmal darum, dorthin zu gelangen, sondern zu AGI. Es geht darum, die Grenzen dessen, was Intelligenz heute menschlich und morgen künstlich leisten kann, kontinuierlich zu erweitern. Es bedeutet, die Grenzen des Denkbaren und Möglichen zu verschieben Hybride Zusammenarbeit zwischen unserem biologischen und synthetischen Geist.
Schließlich haben wir das immer getan, seit wir die ersten Symbole in den Stein gemeißelt oder die ersten Tasten am Computer gedrückt haben. Nutzen Sie Technologie um unseren Intellekt zu stärken, unsere kognitiven und kreativen Fähigkeiten zu vervielfachen und immer größere und komplexere Probleme anzugehen.
LLMs stellen mit all ihren Einschränkungen einen Fortschritt auf diesem Weg dar. Sie zeigen uns, wie flexibel und mächtig Sprache ist, eine Technologie für sich, die jeden Aspekt unseres Lebens durchdringt. Und sie fordern uns heraus, neue zu erfinden, neue Denkgrammatiken, um das Unaussprechliche auszudrücken und uns das Unvorstellbare vorzustellen.
Das eigentliche Ziel besteht nicht darin, eine künstliche Intelligenz zu schaffen, die uns ersetzt, sondern sich in Symbiose mit ihr weiterzuentwickeln und Formen der Intelligenz hervorzubringen, von denen wir noch nicht einmal wissen, wie wir sie uns vorstellen sollen.
LLM und die Zukunft der Intelligenz
LLMs sind hier, um zu bleiben. Wie Fahrräder in der Transportwelt sind sie dazu bestimmt, uns eine große Hilfe zu leisten, aber es wird noch mehr nötig sein.
Vielleicht liegt die Zukunft der Intelligenz nicht in einer technologischen Singularität, sondern in einer Vielzahl miteinander verbundener Intelligenzen, menschlicher und nichtmenschlicher, biologischer und synthetischer. Eine Explosion kognitiver Vielfalt, die uns über die aktuellen Grenzen des Denkens hinaus zu neuen Grenzen der Bedeutung und Möglichkeiten führen wird.
Aber um dorthin zu gelangen, müssen wir uns zunächst von den Vorurteilen und engen Visionen befreien, die uns immer noch gefangen halten. Wir müssen aufhören, rechnerischen Illusionen nachzujagen, die die äußeren Manifestationen unserer Intelligenz auf unbeholfene und unvollständige Weise reproduzieren, ohne ihr tiefes Wesen zu begreifen.
Wir müssen den Mut haben, radikal zu überdenken, was es bedeutet, in einem sich ständig verändernden Universum intelligent zu sein. Und wir müssen es mit Neugier, Offenheit und Begeisterung tun. Mit dem Wissen, dass Intelligenz ist kein zu entdeckender Algorithmus, sondern ein Prozess, der Tag für Tag, Fehler nach Fehler, Intuition nach Intuition geschaffen und erweitert werden muss.
Der Weg zu AGI, oder was auch immer die Intelligenz der Zukunft sein wird, führt nicht (nur) über LLMs. Es geht durch die unerwarteten Verbindungen, die wir uns vorstellen können, durch die unerforschten Räume, die wir bewohnen können, durch die unverschämten Fragen, die wir stellen können.
Es beruht auf unserer Fähigkeit, zu staunen und zu träumen, Fehler zu machen und zu lernen, uns selbst und die Welt um uns herum zu dekonstruieren und wieder aufzubauen. Denn Intelligenz ist nichts anderes als das: der Mut, sich immer ein bisschen weiter, ein bisschen höher, ein bisschen tiefer zu wagen. Auf dem Weg zur nächsten Grenze, die es zu durchbrechen gilt, zur nächsten Grenze, die es zu erkunden gilt. Auf das Unbekannte, das uns erwartet und das uns dank der KI vielleicht keine Angst mehr machen wird.
