Wenn Sie das Aufkommen der generativen KI bestürzt hat, wissen Sie, dass dies nicht der Fall ist, denn wir haben noch nichts gesehen. Der Geist ist aus der Lampe herausgekommen und es wird für ihn schwierig sein, wieder hineinzukommen. Andererseits. Das Rennen ist wilder denn je und sechs Projekte wetteifern darum, KI-Modelle zu entwickeln, die über 2 Billionen Parameter hinausgehen. Ja, das hast du richtig gelesen: Billion.
Die Titanen der KI mit 2 Billionen Parametern
Die sechs Großprojekte, die um den 2-Billionen-Meilenstein konkurrieren, sind OpenAI, Anthropisch, Google/Deepmind, Meta, ein Projekt der britischen Regierung und noch immer geheim. Und es ist ein „tödlicher“ Wettlauf: Um mithalten zu können, sind wirtschaftliche Ressourcen erforderlich. Viele. Zwischen 1 und 2 Milliarden Dollar pro Jahr, um die Hardware ständig zu aktualisieren (immer hungriger in Bezug auf Berechnungen und Energie), Hunderte von Spezialisten einzustellen und die besten Teammitglieder mit Millionärsgehältern und Aktienoptionen zu halten.
GPT-5: Die Rückkehr des Königs
Nachdem er die halbe Welt überrascht hat, eine Rakete auf Google abgefeuert und nachdem OpenAI viel Geld von Microsoft erhalten hat, hat es bereits einen möglichen KO-Schuss in der Pipeline. Derjenige, der Sam Altmans Firmenüberlegenheit sichern könnte. GPT-5 wird bis Ende 2023 fertiggestellt und Anfang 2024 veröffentlicht, mit zwischen 2 und 5 Billionen Parametern.
Wir können uns im Moment seine Fähigkeiten nicht vorstellen.
Claude-Next: Anthropic und sein ehrgeiziges Projekt
Anthropisch, das von ehemaligen OpenAI-Mitarbeitern gegründete Team, arbeitet an einem Modell namens Claude Next, das darauf abzielt, 10-mal leistungsfähiger zu sein als aktuelle KIs. Mit einer bereits aufgebrachten Finanzierung in Höhe von 1 Milliarde US-Dollar und 5 Milliarden US-Dollar auf dem Weg dorthin erwartet Anthropic, seine Ziele in den nächsten 18 Monaten zu erreichen.
Ihr Flaggschiffmodell benötigt 10^25 FLOPs und nutzt Cluster aus Zehntausenden von GPUs. Zu den Finanziers von Anthropic gehört Google, das an mehreren Tischen spielt.
Gemini: Google sucht Erlösung mit Deepmind
Google und Deepmind arbeiten zusammen, um einen Konkurrenten für GPT-4 namens GPT-XNUMX zu entwickeln Gemini. Das Projekt startete kürzlich, nachdem Bard di gezeigt hatte nicht konkurrieren mit ChatGPT. Gemini wird ein großes Sprachmodell mit Billionen Parametern sein, ähnlich wie GPT-4 oder GPT-5, und wird Zehntausende von Google AI TPU-Chips für das Training verwenden. Ob es multimodal sein wird, ist noch nicht bekannt.
Deepmind hat auch den webbasierten Chatbot entwickelt Spatz, optimiert für Sicherheit und ähnlich wie ChatGPT. DeepMind-Forscher haben herausgefunden, dass die Zitate von Sparrow in 78 % der Fälle hilfreich und genau sind. Ein weiteres Spitzenmodell von DeepMind ist Chinchilla, trainiert auf 1,4 Billionen Parametern.
Die Parameter einer undenkbaren Zukunft
Wenn Sie eine Vorstellung davon bekommen möchten, was 2 Billionen Parameter bedeuten, wissen Sie, dass die geschätzte Gesamtmenge der weltweit nutzbaren Textdaten zwischen 4,6 Billionen und 17,2 Billionen Parametern liegt.
Alle Bücher, wissenschaftlichen Artikel, Nachrichten, die gesamte Wikipedia, öffentlich verfügbarer Code und ein Großteil des restlichen Internets, nach Qualität gefiltert. Digitales menschliches Wissen.
Wenn größere Modelle auf den Markt kommen, werden neue Fähigkeiten entstehen. In den nächsten 6 Jahren wird es Verbesserungen in der Rechenleistung und den Algorithmen geben, um Modelle tausendfach zu skalieren, in der Tat noch viel mehr.
Der CEO von Nvidia prognostizierte KI-Modelle, die millionenfach leistungsfähiger sind als ChatGPT innerhalb von 10 Jahren.
Können Sie sich vorstellen, was diese künstlichen Intelligenzen mit uns machen werden, was sie mit dem Planeten machen werden? Denken Sie schnell darüber nach. Wir sind jetzt hier.
