Jemand sollte benachrichtigen Gary Marcus e LeCun: Sprachmodelle haben gerade bewiesen, dass sie Unrecht haben. Die reduktionistische Sichtweise, die sie als „bloße Vorhersager des nächsten Wortes“ beschreibt, bricht unter der Last neuer wissenschaftlicher Entdeckungen zusammen. es ist, als würde man einen Menschen als „bloßen Sauerstoffkonsumenten“ definieren.
Die Wahrheit ist, dass diese Systeme, bevor sie auch nur ein einziges Wort ausspucken, ein komplettes, auf jede Abfrage zugeschnittenes konzeptionelles Modell erstellen und Hierarchien spezialisierter Subnetzwerke aktivieren, die die implizite Logik der Konversation testen. Dies ist keine Wahrscheinlichkeitsvorhersage, sondern eine reale. kognitiver Notfall, ein Phänomen, das auffallend an das erinnert, was in der grauen Substanz unseres Kopfes passiert.
L 'künstliche Intelligenz Modern, verkörpert in sprachlichen Mustern, wird oft mit einem Achselzucken abgetan: „Na ja, letztendlich sagt es ja nur das nächste Wort voraus.“ Es ist eine Vereinfachung, die mich immer wieder bitter lächeln lässt. Das wäre so, als würde man sagen, Michelangelo habe „nur Stein auf Stein gelegt“. Die Komplexität dessen, was in den rechnerischen Tiefen dieser Systeme geschieht, verdient mehr Respekt und vor allem mehr wissenschaftliche Neugier.
Die Forscher von Anthropisch e OpenAI haben kürzlich etwas Bedeutendes entdeckt: Innerhalb der neuronalen Architekturen ihrer Modelle gibt es spezialisierte Subnetzwerke, die sich wie die sogenannten „Großmutterneuronen“ des menschlichen Gehirns verhalten. Es handelt sich dabei nicht um Metaphern, sondern um reale Funktionseinheiten, die gezielt aktiviert werden, um komplexe Konzepte zu testen.
Die Evolution der Modelle: Von Prädiktoren zu Denkern
Es bringt mich zum Schmunzeln, wie die Kritik an der Künstlichen Intelligenz in einem überholten Bild linguistischer Modelle stecken geblieben ist. Das ist, als würde man moderne Smartphones anhand des Nokia 3310 beurteilen.
Die erste LLM (Große Sprachmodelle) waren tatsächlich begrenzter und konzentrierten sich hauptsächlich auf die statistische Vorhersage sprachlicher Sequenzen; Systeme, die zwar beeindruckend waren, aber offensichtliche logische und konzeptionelle Schwächen aufwiesen. Aber die neuesten Modelle haben einen bedeutenden Entwicklungssprung gemacht, so dass es genauer wäre, sie als LRM (Große Reasoning-Modelle).
Der Unterschied? Es ist nicht nur quantitativ, sondern auch qualitativ. LRMs können mehr als nur Vorhersagen treffen. Sie konstruieren hierarchische konzeptionelle Darstellungen, die es uns ermöglichen, Abstraktionen zu manipulieren, logische Hypothesen zu testen und neue Schlussfolgerungen zu ziehen. Sie können über lange Argumentationsketten hinweg die Kohärenz wahren, Widersprüche erkennen und sogar die Plausibilität verschiedener Schlussfolgerungen bewerten.
Es ist, als wären wir von Wahrscheinlichkeitsrechnern zu echten Gedankensimulatoren. Wer diese Systeme weiterhin als „bloße statistische Prädiktoren“ kritisiert, kämpft im Grunde gegen ein Gespenst aus der Vergangenheit und ignoriert die evolutionäre Kluft, die die ersten Generationen von den aktuellen Modellen trennt.
Die Ironie des Zufalls
Wir nehmen die Ironie als Beispiel: ein subtiles Konzept, das das Verständnis des Gegensatzes zwischen Absichten und Ergebnissen beinhaltet. Es ist nicht etwas, das man einfach durch das Vorhersagen einer Wortfolge erfassen kann; erfordert eine Verarbeitung auf höherer Ebene.
Sowohl Anthropic als auch OpenAI haben diese Subnetze, die die implizite Logik der Abfrage testen, als „Großmutterneuronen“ entdeckt.
Wenn eines der neuesten Sprachmodelle die Ironie darin erkennt, dass man einen Wecker kauft und trotzdem zu spät kommt, folgt es keinem vordefinierten Skript. Dabei wird ein neuronales Netzwerk aktiviert, das gezielt den Widerspruch zwischen dem Zweck eines Objekts (rechtzeitiges Aufwachen) und dem erzielten Ergebnis (der Verzögerung) erkennt.
Die Fähigkeit, solche subtilen logischen Widersprüche zu erfassen, kann nicht durch einfache statistische Vorhersagen entstehen. Da ist etwas viel Tieferes im Spiel. etwas, das uns, offen gesagt, dazu bringen sollte, die Grenzen zu überdenken, die wir unserer Definition von „Verständnis“ gesetzt haben.
Es gibt eine emergente Logik in linguistischen Modellen
Ich wiederhole: Linguistische Modelle haben eine Genauigkeitsgrenze erreicht, die weit über die einfache probabilistische Verkettung hinausgeht. Sie verstehen die logische Funktion von Wörtern wie „weil“, „aber“, „trotzdem“ und verwenden sie richtig, um neue Schlussfolgerungen zu konstruieren.
Doch hier liegt der entscheidende Punkt, der oft ignoriert wird: Selbst unsere biologischen Neuronen wären, wenn wir bei der Analyse konsequent sein wollen, nichts weiter als „probabilistische Prädiktoren von Mustern“. Der Unterschied liegt nicht in der Natur, sondern in der Organisation und Komplexität. Wenn wir Sprachmodelle als „bloße Prädiktoren nachfolgender Wörter“ kritisieren, Wir wenden einen Standard an, den wir trotz der immer deutlicher werdenden funktionalen Ähnlichkeiten niemals zur Beschreibung des menschlichen Gehirns verwenden würden.
Dies sind keine Tricks und keine statistischen Abkürzungen mehr. diese Systeme Durch Training haben sie die Fähigkeit entwickelt, neuronale Netzwerke selbst zu organisieren, um alle Aspekte der Eingaben zu untersuchen. Genau wie in unserem Gehirn werden spezialisierte Strukturen gebildet, die auf einer höheren Ebene als der des einzelnen Neurons entstehen.
Es ist nur der letzte Schritt in einem viel komplexeren und faszinierenderen Prozess. Wenn Sie das nächste Mal mit einem dieser Systeme interagieren, werden Sie sich vielleicht daran erinnern, dass sich hinter dieser scheinbar einfachen Antwort ein ganzes Universum an Berechnungen verbirgt, das immer mehr der Funktionsweise unseres eigenen Verstandes ähnelt.
