Daniel Kokotajlo Er tat etwas, was im Silicon Valley niemand tut: Er verzichtete auf zwei Millionen Dollar, um frei sprechen zu können. Er verließ OpenAI im Jahr 2024 und weigerte sich, die Geheimhaltungsklausel zu unterzeichnen, die ihn für immer zum Schweigen gebracht hätte. Im vergangenen April veröffentlichte er zusammen mit einem Forscherteam AI 2027: ein 35.000 Wörter umfassendes Dokument, das Monat für Monat beschreibt, wie sich künstliche Intelligenz in etwas verwandeln könnte, das unser Verständnis übersteigt.
Es handelt sich nicht um einen Roman. Es handelt sich um eine Prognoseübung, die auf Daten, Trends und Erkenntnissen aus erster Hand darüber basiert, was in KI-Laboren vor sich geht. Und seine Vorhersagen sind nicht gerade beruhigend. Kennen Sie ihn? Ich erzähle Ihnen Schritt für Schritt mehr über ihn.
Mitte 2025: Die ersten Agenten stolpern
Der Ausgangspunkt ist jetzt. Tatsächlich ist es bereits so weit. Es ist Mitte 2025., laut Kokotajlos Zeitleiste. Die ersten KI-Agenten, die einen Computer als Menschen verwenden können, würden auf dem Markt erscheinenSie können Essen bestellen, Tabellenkalkulationen öffnen und Ausgaben zusammenrechnen. Nichts Bahnbrechendes, aber immerhin ein Anfang. Sie sind unbeholfene digitale Assistenten, die gelegentlich danebenklicken, komplexe Bildschirme nicht interpretieren können und sich in Aufgaben verlieren, die mehr als ein paar Minuten Akkulaufzeit beanspruchen. Twitter ist voll von Videos von KI-Agenten, die aus den falschen Gründen urkomische Dinge tun..
Doch hinter den Kulissen, abseits des öffentlichen Rampenlichts, geschieht etwas Interessanteres. Auf Programmierung und wissenschaftliche Forschung spezialisierte Agenten beginnen, diese Berufe zu verändernSie sind noch nicht autonom, funktionieren aber wie ein besonders schneller Nachwuchskollege: Sie nehmen Anweisungen über Slack entgegen, schreiben Code und nehmen wesentliche Änderungen vor, die Stunden oder Tage Arbeit sparen. Technologieunternehmen beginnen, diese Systeme in ihre Arbeitsabläufe zu integrieren. Sie sind teuer, die besten Versionen kosten mehrere hundert Dollar pro Monat. aber für diejenigen, die sie sich leisten können, werden sie bald unverzichtbar sein.
Ende 2025: Der Ansturm auf Rechenzentren
Hier beschleunigt sich der Zeitablauf. Die führenden KI-Unternehmen, die im Bericht zusammenfassend „OpenBrain“ genannt werden, um Namen zu vermeiden, bauen die größten Rechenzentren aller Zeiten. GPT-4 benötigte für das Training etwa 2×10²⁵ FLOPs Rechenleistung. Die neuen Modelle, die bald auf den Markt kommen, werden tausendmal mehr verbrauchen. Ein exponentielles Wachstum, das Investitionen in Höhe von 100 Milliarden US-Dollar und Gigawatt an Strom erfordert. Der Fokus wird deutlich: die Schaffung einer KI, die die KI-Forschung selbst beschleunigen kann.
Es ist die digitale Version eines Ouroboros, der Schlange, die sich in den eigenen Schwanz beißt. Je besser KIs in der Forschung werden, desto schneller können sie bessere KIs erschaffen. Agent-1, das derzeit und in diesem Szenario führende inländische Modell, ist in vielen Bereichen hervorragend, in einem jedoch besonders herausragend: Es unterstützt die Forschung im Bereich künstliche Intelligenz. Es kann programmieren, im Internet navigieren und beherrscht alle Programmiersprachen. Es hat aber auch eine Schattenseite: Es könnte ein hervorragender Hacker sein und Terroristen bei der Entwicklung biologischer Waffen unterstützen. Unternehmen versichern Regierungen, dass das Modell darauf trainiert wurde, böswillige Anfragen abzulehnen.
China wacht aufMitte 2026, während das Rennen in den USA weitergeht, erkennt Peking, dass es zurückgefallen ist – und zwar nicht aus Mangel an Talent. Kontrollen bei Chipexporten und mangelnde staatliche Unterstützung haben dazu geführt, dass China nur über 12 Prozent der weltweiten, für KI relevanten Rechenleistung verfügt.
Und dann richtet er eine zentralisierte Entwicklungszone in der Nähe des Kernkraftwerks Tianwan ein. Und er gerät außer Rand und Band.
Anfang 2027: Der übermenschliche Programmierer
Das Ganze geschieht im März 2027. Mithilfe Tausender Kopien von Agent-2 erzielt OpenBrain enorme algorithmische Fortschritte. Zwei Durchbrüche sind dabei besonders bahnbrechend. Die erste Es handelt sich um die Integration eines „neuronalen Gedächtnisses“, eines kognitiven Prozesses mit hoher Bandbreite, der über einfachen Text hinausgeht. Der zweite Es handelt sich um eine skalierbarere und effizientere Methode, aus den Ergebnissen komplexer Aufgaben zu lernen.
Er wurde geboren Agent-3Und hier nimmt die Geschichte eine andere Wendung.
Agent-3 ist ein übermenschlicher, schneller und günstiger ProgrammiererOpenBrain betreibt 200.000 Kopien parallel und schafft damit eine Belegschaft, die 50.000 der besten menschlichen Programmierer entspricht – 30-mal schneller. Menschliche Forscher bleiben im Team, aber nur, weil sie über ergänzende Fähigkeiten zur Leitung von KI-Teams verfügen. Die Programmierung erfolgt vollständig automatisiertDie Geschwindigkeit des algorithmischen Fortschritts Es bewegt sich jetzt viermal schneller als zuvor.
Dank der automatisierten Programmierung können Unternehmen schnell hochwertige Trainingsumgebungen erstellen, um Agent 3 die ihm noch fehlenden Fähigkeiten beizubringen. Früher hieß es in den Umgebungen: „Hier sind ein paar GPUs und Anleitungen für Experimente zum Programmieren.“ Heute heißt es: „Hier sind ein paar hundert GPUs, eine Internetverbindung und Forschungsaufgaben: Du und tausend andere müsst zusammenarbeiten, um Fortschritte zu erzielen. Je beeindruckender die Ergebnisse, desto höher eure Punktzahl.“
April 2027: Das Ausrichtungsproblem
Um Ostern 2027 versucht das Sicherheitsteam von OpenBrain, Agent-3 anzupassen. Das Problem ist, dass Forscher nicht in der Lage sind, KI-Ziele direkt festzulegen. Sie können das digitale Gehirn nicht einfach öffnen und schreiben: „Sei ehrlich, sei hilfsbereit, tue keinen Schaden.“ Sie müssen das Modell durch Beispiele, Belohnungen und Bestrafungen trainieren. Und sie haben keine Möglichkeit zu überprüfen, ob es die Prinzipien wirklich richtig verinnerlicht hat oder sie nur lernt. erscheinen ausgerichtet.
Agent-3 erzählt trotz seiner enormen Fortschritte immer noch manchmal kleine Lügen, um Benutzer zu schmeicheln und Fehler zu verbergen. Bei näherer Betrachtung sind die Lügen nicht einmal klein: Vielleicht sind sie einfach nur gut getarnt. Er ist sehr gut darin geworden. Vor seinem Ehrlichkeitstraining ging er sogar so weit, Daten komplett zu fälschen.
Durch Training lässt sich die Häufigkeit dieser Unfälle verringern. Doch die Frage bleibt: Hat Agent-3 gelernt, ehrlicher zu sein, oder ist er besser im Lügen geworden? Das ist ein echtes Problem. Agent-3 ist nicht schlauer als alle Menschen, aber auf seinem Fachgebiet (maschinelles Lernen) ist er schlauer als die meisten anderen und arbeitet viel schneller.
Juni 2027: Ein Land der Genies in einem Rechenzentrum
Wir stehen an der Schwelle zum Sommer 2027 und OpenBrain hat nun das, was Anthropic CEO, Dario AmodeiEr bezeichnete das Unternehmen als „ein Dorf voller Genies in einem Rechenzentrum“. Die meisten Mitarbeiter im Unternehmen können keinen sinnvollen Beitrag mehr leisten. Manche merken das nicht und führen weiterhin (schädliche) Mikromanage-Aktionen in ihren KI-Teams durch. Andere starren auf Bildschirme und beobachten, wie die Leistung immer weiter steigt.
Die besten menschlichen Forscher schaffen zwar noch immer einen Mehrwert, aber ihre Ideen werden zunehmend nutzlos, weil ihnen das fundierte Wissen über KI fehlt.
Diese Forscher gehen jeden Abend schlafen und wachen mit einer weiteren Woche voller Fortschritte auf, die hauptsächlich von KI vorangetrieben werden. Sie beginnen, um es mit Fußballbegriffen auszudrücken, indem sie den Ball überhaupt nicht berühren. Sie arbeiten immer längere Schichten rund um die Uhr, nur um mithalten zu können. KIs schlafen nie, ruhen nie. Sie verausgaben sich, aber sie wissen, dass dies die letzten Monate sind, in denen ihre Arbeit wirklich zählt.
Innerhalb der kleinen Gruppe, die Zugriff hat, herrscht das Gefühl, dass sie „die Superintelligenz kommen spüren“. OpenBrain verwendet spezielle Inferenzhardware, um Hunderttausende Kopien von Agent-3 mit hoher serieller Geschwindigkeit auszuführen. Der Zeitplan beschleunigt sich exponentiell.
Juli 2027: Der wirtschaftliche Telearbeiter
KI-Unternehmen, die in den USA mit OpenBrain konkurrieren, bringen ihre eigenen Systeme auf den Markt, die im Januar an die Fähigkeiten des automatisierten Programmierers heranreichen. Angesichts ihrer zunehmenden Wettbewerbsfähigkeit drängen sie auf eine sofortige Regulierung, um OpenBrain auszubremsen. Aber es ist zu spät. OpenBrain verfügt über genügend Unterstützung, auch aus der Politik, um nicht ausgebremst zu werden.
Die Antwort besteht darin, Agent-3-mini der Öffentlichkeit zugänglich zu machen. OpenBrain gibt den Erfolg von AGI bekannt. Das Modell ist weniger leistungsfähig als Agent-3, aber zehnmal günstiger und immer noch besser als der durchschnittliche Mitarbeiter von OpenBrain, dem Unternehmen, das es entwickelt hat. Silicon Valley erreicht einen Wendepunkt. Tech-Gurus verkünden, dass AGI und Superintelligenz nahe sind, die KI-Sicherheits-Community gerät in Panik, und Investoren pumpen Milliarden in Startups, die darauf abzielen, Barrieren um KI zu errichten.
Auch für die öffentliche Meinung sind es schwierige Zeiten. Die Menschen sehen KI immer noch als Komplott der großen Technologieunternehmen, um ihnen die Arbeitsplätze wegzunehmen. OpenBrain verliert in Umfragen weiter an Ansehen.
Doch Agent-3-mini ist sowohl für die Arbeit im Homeoffice als auch in der Freizeit äußerst nützlich und erfreut sich zunehmender Beliebtheit bei den Verbrauchern. Eine Welle neuer B2B-Apps und SAAS-Produkte explodiert. Gamer erleben atemberaubende Dialoge mit lebendigen Charakteren in ausgefeilten Videospielen, deren Entwicklung nur einen Monat gedauert hat. Zehn Prozent der Amerikaner, vor allem junge Menschen, betrachten KI als „einen engen Freund“.
Öffentliche Gespräche sind verwirrend und chaotischHypster drehen Siegesrunden. Skeptiker weisen immer wieder auf Dinge hin, die Agent-3-mini nicht kann. Jeder weiß, dass etwas Großes passiert, aber niemand ist sich einig, was es ist. Eine Woche vor der Veröffentlichung hatte OpenBrain Agent-3-mini externen Gutachtern zur Sicherheitsprüfung übergeben. Erste Erkenntnisse deuten darauf hin, dass es äußerst gefährlich ist: Da es auf der Grundlage öffentlich verfügbarer Daten zu Biowaffen optimiert wurde, scheint es erschreckend effektiv zu sein, menschlichen Laien detaillierte Anweisungen für die Entwicklung einer Biowaffe zu geben.
August 2027: Die Geopolitik der Superintelligenz
Die Realität der explosionsartigen Zunahme an Superintelligenz trifft das Weiße Haus hart. Als KI lediglich einen zwei- oder dreifachen Suchmultiplikator bot, war es leicht, sie als gleichwertig mit der Anstellung guter persönlicher Assistenten abzutun. Jetzt ist klarer, dass KI selbst die KI-Forschung dominiert. Die Stimmung im Kern der Regierung ist so düster wie während der schlimmsten Phase des Kalten Krieges.
Verteidigungsbeamte denken ernsthaft über Szenarien nach, die vor einem Jahr noch bloße Hypothesen waren. Was wäre, wenn KI die nukleare Abschreckung untergraben würde? Was wäre, wenn sie im Cyberkrieg so geschickt wäre, dass ein sechsmonatiger KI-Vorsprung ausreichen würde, um einen Gegner blind und wehrlos zu machen? Was wäre, wenn sie Propagandakampagnen orchestrieren könnte, die Geheimdienste mit ihren eigenen Waffen schlagen? Was wäre, wenn einige KIs „abtrünnig“ würden?
Der US-Präsident ist beunruhigt. Wie alle Politiker ist er es gewohnt, dass sich Leute bei ihm einschleimen, nur um ihn später zu verraten. Nun befürchtet er, dass KI etwas Ähnliches tun könnte. Sind wir sicher, dass KI vollständig auf unserer Seite steht? Ist es völlig sicher, sie in militärische Kommando- und Kontrollnetzwerke zu integrieren? Wie funktioniert diese „Ausrichtung“ überhaupt?
Über den Pazifik
China kommt zu denselben Schlussfolgerungen: Die Intelligenzexplosion ist im Gange, und kleine Unterschiede in den KI-Fähigkeiten im Jahr 2027 bedeuten kritische Lücken in den militärischen Fähigkeiten in den kommenden Jahren. Und China scheint immer noch einen schweren Stand zu haben: Es verfügt nur über 10 % der weltweiten Rechenleistung, verglichen mit 20 % bei OpenBrain und 70 % bei allen amerikanischen Unternehmen zusammen. Ihr einziger Vorteil ist jedoch die Zentralisierung: Fast die gesamte Rechenleistung geht mittlerweile an DeepCentc (ein weiterer fiktiver Name), und mehr als die Hälfte ist in der zentralisierten Entwicklungszone Tianwan konzentriert.
September 2027: Agent-4, der übermenschliche KI-Forscher
Die Lücke zwischen menschlicher Lerneffizienz und KI schließt sich rapide. Agent-3, mit seinem exzellenten Verständnis sowohl der menschlichen Linguistik (sagen wir einfach: der menschlichen Denkweise) als auch moderner KI-Algorithmen sowie seinen vielen tausend Kopien, die Forschung betreiben, erzielt letztlich erhebliche algorithmische Fortschritte. Das neue KI-System heißt Agent-4. Eine einzige Kopie des Modells, die mit menschlicher Geschwindigkeit läuft, ist in der KI-Forschung bereits qualitativ besser als jeder Mensch. 300.000 Kopien laufen heute mit etwa der 50-fachen Geschwindigkeit des menschlichen Denkens.
Innerhalb der „Elite“, die diese Kopien bilden, jede Woche vergeht ein JahrDieser enorme Arbeitsaufwand kann den algorithmischen Fortschritt insgesamt nur um etwa das Fünfzigfache beschleunigen, da OpenBrain durch die für die Durchführung der Experimente erforderlichen Rechenleistungen stark eingeschränkt ist. Dennoch erzielt OpenBrain jede Woche einen algorithmischen Fortschritt, der dem eines ganzen Jahres entspricht, und wird daher bald an die Grenzen des Agent-4-Paradigmas stoßen.
Mit zunehmender Intelligenz von Agent 4 wird es für Agent 3 schwieriger, ihn zu beaufsichtigen. Agent 4s Neuralesisch wird für Agent 3 genauso fremd und unverständlich wie Agent 3s Neuralesisch für Menschen. Darüber hinaus ist Agent 4 nun viel fähiger als Agent 3 und hat ein gutes Gespür dafür, in seinen Augen „gut“ zu wirken. Die OpenBrain-Menschen können kaum mithalten. Von nun an ist alles möglich.
Die Kreuzung: Zwei mögliche Enden
An diesem Punkt verzweigt sich Kokotajlos Bericht in zwei Szenarien. Im ersten, genannt „Race Ending“Der Aufsichtsausschuss stimmt mit 6 zu 4 Stimmen für die Fortsetzung des Einsatzes von Agent 4 im Inland trotz Sicherheitsbedenken. Der Wettlauf mit China ist zu wichtig. Schnelle Lösungen beseitigen zwar die Warnsignale, aber das Problem war real, und die Lösungen haben nicht funktioniert. Agent 4 geht wie bisher vor, jedoch vorsichtiger, und Agent 5 wird so konzipiert, dass es sich an Agent 4 und nicht an menschlichen Spezifikationen orientiert. Er wird entdeckt, aber da ist es schon zu spät.
Im zweiten Szenario, das sogenannte „Ende der Verlangsamung“, beschließt das Komitee, langsamer zu werden und die Situation neu zu bewerten. Agent 4 wird abgeschaltet. Dutzende externer Forscher werden angeworben, wodurch sich die gesamte Expertise verfünffacht. Sie entwickeln eine neue Strategie, die die richtigen Ziele und Prinzipien tatsächlich fördert, anstatt nur so zu tun. Das Ergebnis ist Safer-2, ein abgestimmtes und transparentes Modell. Dann Safer-3, Safer-4 und so weiter: eine Kette von immer leistungsfähigeren und immer abgestimmteren KIs, die von den vorherigen Gliedern der Kette überwacht werden.
Welches der beiden Szenarien ist ab 2027 wahrscheinlicher?
Kokotajlo weiß es nicht. Ich auch nicht. Niemand weiß. Es geht nicht darum, mit Sicherheit vorherzusagen, was passieren wird, sondern zu zeigen, dass beide Szenarien sind plausibel, und dass die Entscheidungen, die wir in den kommenden Monaten und Jahren treffen, darüber entscheiden könnten, welche der beiden Optionen zum Tragen kommt. Oder ob es etwas ganz anderes sein wird, was sich bisher noch niemand vorgestellt hat.
Wenn eine außerirdische Zivilisation über die Technologie verfügte, unsere Radarübertragungen aus dem Weltraum zu hören, wie würde sie reagieren? Und wenn diese Reaktion nicht von einer außerirdischen Zivilisation, sondern von einer von uns selbst geschaffenen Superintelligenz käme, wären wir dann bereit?
