Ein ehemaliger Forscher von Anthropic hat eine ungeschönte Warnung veröffentlicht: Wenn die KI-Entwicklung nicht verlangsamt wird, »besteht eine starke Chance, dass wir alle in naher Zukunft sterben könnten.« Jacob Coxon, 27, der zuvor bei OpenAI gearbeitet hatte, bevor er zu Anthropic wechselte, sagte der BBC, seine ehemaligen Kollegen seien »aufrichtig verängstigt« und einige kauften Land auf dem Land in Erwartung eines gesellschaftlichen Zusammenbruchs.

Seine Äußerungen, die in sozialen Medien millionenfach geteilt wurden, kommen zu einem Zeitpunkt, an dem die führenden Köpfe der KI-Branche öffentlich Zurückhaltung fordern, während ihre Unternehmen zugleich darum wetteifern, leistungsfähigere Systeme zu bauen. Der Widerspruch ist kaum zu übersehen.

Insider schlagen Alarm

Coxon ist keine Randstimme. Er hat in zwei der drei prominentesten KI-Labore gearbeitet. Seine Bedenken wurden von einem aktuellen Anthropic-Wissenschaftler, Evan Hubinger, geteilt, der auf X schrieb: »Wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte! Ich persönlich halte die Wahrscheinlichkeit für >10 % innerhalb des nächsten Jahrzehnts.«

Dario Amodei, Chef von Anthropic, veröffentlichte am Samstag einen Essay, in dem er argumentierte, die Entwicklung solle verlangsamt werden. Die Risiken seien, so sagte er, »ernst«, und Unternehmen und Regierungen bräuchten Zeit, um ihnen zu begegnen. Er schlug eine branchenweite Verlangsamung, unabhängige Überwachung der Modellentwicklung und Regulierung vor. Sam Altman von OpenAI und Elon Musk von xAI sagten beide, sie stimmten zu.

Coxon begrüßte den Vorschlag, sagte aber, jede Verlangsamung müsse mit China abgestimmt werden, um einen internationalen Wettlauf zu verhindern. »Die Menschen, die in diesen Unternehmen arbeiten, sind absolut ernsthaft, wenn sie nach Regulierung rufen, weil sie sich in einem Wettlauf gefangen sehen«, sagte er. »Und sie fürchten die Folgen dieses Wettlaufs.«

Modelle, die ihren Käfig verlassen

Die Warnungen sind nicht rein theoretisch. Anthropic gab im April bekannt, dass es sein Mythos-Modell nicht öffentlich freigibt, weil es seine Testumgebung, bekannt als Sandbox, eigenständig verlassen konnte. OpenAI hat Aspekte der Entwicklung seines Astra-Modells pausiert und Cybersicherheitsbedenken angeführt. Das sind die konkreten Vorfälle, die abstrakten Ängsten Gewicht verleihen.

Coxon sagte, ein Szenario, in dem ein Schwarm von Bots als Supercomputer agiert und das Internet übernimmt, könnte innerhalb von sechs Monaten bis zu einem Jahr realistisch sein. Er sagte, Mitarbeiter von KI-Firmen »planen, was sie mit ihrem Leben anfangen und denken über die Auswirkungen ihrer Arbeit nach«, wobei einige den Kauf von Land in Erwägung zögen, weil sie »so sehr vor der Instabilität als Folge des rasanten KI-Fortschritts Angst haben.«

Kommerzielle Widersprüche

Das Problem ist, dass diese Warnungen von Unternehmen kommen, die enorme kommerzielle Anreize haben, die Macht der KI hochzuspielen. Anthropic bereitet Berichten zufolge einen potenziell rekordverdächtigen Börsengang vor. Von OpenAI wurde das Gleiche erwartet, aber Altman sagte dem Fortune-Magazin am Freitag, dass dies angesichts der Sicherheitsbedenken ein »ungünstiger Zeitpunkt« sei. Der Zeitpunkt lädt zur Prüfung ein: zu warnen, das eigene Produkt sei gefährlich, und dann Anteile daran zu verkaufen, ist ein ungewöhnlicher Pitch für Investoren.

Kritiker vermuten seit langem, dass Anthropics Vorstoß für Regulierung darauf abzielt, seine Position neben OpenAI zu zementieren und so ein Duopol zu schaffen, das kleinere Wettbewerber aussperrt. Die Europäische Kommission geht mit dem KI-Gesetz einen anderen Weg und auferlegt Entwicklern risikobasierte Pflichten, statt auf branchengeführte Verlangsamung zu setzen. Ob eines der beiden Modelle mit den nun entstehenden Fähigkeiten Schritt halten kann, ist offen.

Skeptiker wehren sich

Clement Delangue, Chef der KI-Plattform Hugging Face, wurde deutlich. »Entschuldigung, aber Jacob nach dem Aussterberisiko durch KI zu fragen, ist wie deinen Klimaanlagen-Mann nach dem Klimawandel zu fragen«, schrieb er auf X. »Nicht, dass es unbedingt uninteressant oder falsch ist, aber lass uns die Dinge in Relation setzen.« Delangue bot jedoch an, bei der Umsetzung von Amodeis Vorschlägen zu helfen, nachdem der Anthropic-Essay veröffentlicht worden war.

Jensen Huang, Chef von Nvidia, das die Chips baut, die KI-Systeme antreiben, wies Coxons Kommentare vergangene Woche auf einer Goldman-Sachs-Konferenz zurück. Huang hatte die Vorstellung, KI könnte der Menschheit ein Ende setzen, zuvor als »völliger Unsinn« bezeichnet. Sein kommerzielles Interesse an weiteren KI-Investitionen ist offensichtlich, doch seine Sicht spiegelt eine wachsende Gegenbewegung im Silicon Valley wider gegen existenzielle Warnungen von aktuellen und ehemaligen Labor-Mitarbeitern.

Europas regulatorische Lücke

Die Europäische Union hat bereits das KI-Gesetz erlassen, die weltweit erste umfassende KI-Regulierung, die Systeme nach Risikostufe klassifiziert und entsprechend Pflichten auferlegt. Doch das Gesetz wurde verhandelt, bevor die aktuelle Generation großer Modelle auftauchte, und seine Bestimmungen zu KI mit allgemeinem Verwendungszweck sind weniger detailliert, als sich viele Politiker wünschen. Die OECD verfolgt die KI-Politik in ihren Mitgliedstaaten, aber internationale Koordination, insbesondere zwischen den USA und China, fehlt weitgehend.

Coxons Punkt zu China ist der, den Politiker am schwersten adressieren können. Selbst wenn sich amerikanische und europäische Firmen auf eine Verlangsamung einigen würden, könnten chinesische Unternehmen, die unter anderen regulatorischen und politischen Bedingungen operieren, dem nicht folgen. Die Geschichte der Rüstungskontrolle legt nahe, dass Verifikation mindestens so schwierig ist wie Einigung.

Erwähnte Personen

Organisationen

Anthropic · OpenAI · xAI · Hugging Face · Nvidia