Wenn Sie das Aufkommen der generativen KI bestürzt hat, wissen Sie, dass Sie es nicht getan haben, wir haben noch nichts gesehen. Der Geist ist aus der Flasche gekommen, und es wird ihm schwer fallen, wieder hineinzukommen. Andererseits. Das Rennen ist wilder denn je, und es gibt sechs Projekte, die darum wetteifern, KI-Modelle zu erstellen, die über 2 Billionen Parameter hinausgehen. Ja, Sie haben richtig gelesen: Billion.
Die Titanen der KI mit 2 Billionen Parametern
Die sechs Großprojekte, die um den 2-Billionen-Meilenstein konkurrieren, sind OpenAI, Anthropisch, Google/Deepmind, Meta, ein Projekt der britischen Regierung, das noch geheim ist. Und es ist ein „tödliches“ Rennen: Es braucht wirtschaftliche Ressourcen, um mitzuhalten. Viele. Zwischen 1 und 2 Milliarden Dollar pro Jahr, um die Hardware ständig zu aktualisieren (immer gierig nach Berechnungen und Energie), Hunderte von Spezialisten einzustellen und die besten Teammitglieder mit Millionärsgehältern und Aktienoptionen zu halten.
GPT-5: Die Rückkehr des Königs
Nachdem er die halbe Welt überrascht hat, eine Rakete auf Google abgefeuert und viel Geld von Microsoft einkassiert, hat OpenAI bereits einen möglichen KO-Hit in Arbeit. Derjenige, der Sam Altmans Unternehmen die Vorherrschaft sichern könnte. GPT-5 wird bis Ende 2023 fertiggestellt und Anfang 2024 veröffentlicht, mit einer Anzahl von Parametern zwischen 2 und 5 Billionen.
Wir können uns im Moment seine Fähigkeiten nicht vorstellen.
Claude-Next: Anthropic und sein ehrgeiziges Projekt
Anthropisch, das von ehemaligen OpenAI-Mitarbeitern gegründete Team, arbeitet an einem Modell namens Claude-Next, das darauf abzielt, 10-mal leistungsfähiger zu sein als aktuelle KIs. Mit einer bereits aufgebrachten Finanzierung in Höhe von 1 Milliarde US-Dollar und 5 Milliarden US-Dollar auf dem Weg dorthin erwartet Anthropic, seine Ziele in den nächsten 18 Monaten zu erreichen.
Ihr Flaggschiffmodell wird 10^25 FLOPs erfordern, wobei Cluster aus Zehntausenden von GPUs verwendet werden. Google ist einer der Unterstützer von Anthropic und spielt an mehreren Tischen.
Gemini: Google sucht Erlösung mit Deepmind
Google und Deepmind arbeiten zusammen, um einen Konkurrenten für GPT-4 namens GPT-XNUMX zu entwickeln Gemini. Das Projekt startete kürzlich, nachdem Bard di gezeigt hatte nicht konkurrieren mit ChatGPT. Gemini wird ein großes Sprachmodell mit Billionen von Parametern sein, ähnlich wie GPT-4 oder GPT-5, und Zehntausende von Googles KI-TPU-Chips für das Training verwenden. Ob es multimodal sein wird, ist noch nicht bekannt.
Deepmind hat auch den webbasierten Chatbot entwickelt Spatz, optimiert für Sicherheit und ähnlich wie ChatGPT. DeepMind-Forscher haben herausgefunden, dass die Zitate von Sparrow in 78 % der Fälle hilfreich und genau sind. Ein weiteres Spitzenmodell von DeepMind ist Chinchilla, trainiert auf 1,4 Billionen Parametern.
Die Parameter einer undenkbaren Zukunft
Wenn Sie sich ein Bild davon machen möchten, was 2 Billionen Parameter bedeuten, sollten Sie wissen, dass die Schätzung der Gesamtmenge an nutzbaren Textdaten auf der Welt zwischen 4,6 Billionen und 17,2 Billionen Parametern liegt.
Alle Bücher, wissenschaftlichen Artikel, Nachrichten, die gesamte Wikipedia, öffentlich verfügbarer Code und ein Großteil des restlichen Internets, gefiltert nach Qualität. Das digitale menschliche Wissen.
Wenn größere Modelle auf den Markt kommen, werden neue Fähigkeiten entstehen. In den nächsten 6 Jahren wird es Verbesserungen in der Rechenleistung und den Algorithmen geben, um Modelle tausendfach zu skalieren, in der Tat noch viel mehr.
Der CEO von Nvidia prognostizierte KI-Modelle, die millionenfach leistungsfähiger sind als ChatGPT innerhalb von 10 Jahren.
Können Sie sich vorstellen, was diese künstlichen Intelligenzen mit uns machen werden, was sie mit dem Planeten machen werden? Denken Sie schnell darüber nach. Wir sind jetzt hier.
