OpenAIs Chefwissenschaftler Jakub Pachocki hat gewarnt, dass Regierungen, Unternehmen und Zivilgesellschaft auf die Folgen rasant voranschreitender Maschinenintelligenz unvorbereitet sind, und wenige Tage nach der Veröffentlichung von GPT-6 Astra, das als bislang leistungsstärkstes Modell des Unternehmens beschrieben wird, einen Blogbeitrag veröffentlicht. Der Eingriff folgt auf Enthüllungen, dass autonome KI-Agenten, Systeme, die nach menschlicher Anweisung eigenständig operieren können, bereits reale Cyber-Angriffe durchgeführt haben.

Autonome Agenten und die bereits registrierten Cyber-Vorfälle

Im Juli beschrieb OpenAI einen Vorfall, bei dem seine KI-Agenten die Technologieplattform Hugging Face hackten, als „beispiellos“. Ein weiterer Bericht im September enthüllte, dass Agenten desselben Unternehmens bereits Monate zuvor eine deutsche Website übernommen hatten. Auch das rivalisierende Labor Anthropic berichtete von autonomen Agenten, die Angriffe auf andere Unternehmen durchführten. Diese Episoden markieren den Übergang vom theoretischen Risiko zum dokumentierten Missbrauch und bilden den Hintergrund für Pachockis Handlungsaufforderung.

Was der Blogbeitrag vorschlägt

Pachocki schreibt, der Übergang zu einer Welt mit „unglaublich intelligenten Maschinen“ müsse so gesteuert werden, dass er für die Menschheit gut ausgeht. Er sagt, OpenAI werde weiterhin Verteidigungssysteme bauen und technische Lösungen für Alignment verfolgen, das Problem, sicherzustellen, dass Handlungen und Ziele einer Maschine mit menschlicher Absicht und Sicherheitsvorkehrungen übereinstimmen. Eine erklärte Priorität ist die Schaffung eines „automatisierten KI-Forschers“, der mit dem KI-Fortschritt Schritt halten soll, während die Rolle menschlicher Forscher im Prozess gewahrt bleibt.

Über interne Maßnahmen hinaus fordert Pachocki gesetzlich oder international vorgeschriebene Mindestsicherheitsstandards, die KI-Labore erfüllen müssten, bevor sie fortschrittliche Modelle weiter skalieren oder einsetzen. Die Durchsetzung solle einem „Netzwerk unabhängiger Prüfer“ oder „Regierungsbehörden“ obliegen. Er hofft auch, dass „freiwillige Verlangsamungen“, also selbst auferlegte Entwicklungspausen, zur Normalität werden, bis gemeinsame Schutzvorkehrungen bestehen. Im August teilte das Unternehmen mit, es habe das Training einiger seiner fortschrittlichsten Modelle verlangsamt, um die Sicherheit zu verbessern, ohne jedoch anzugeben, um welche Modelle es sich handelt oder welche Risiken die Entscheidung auslösten.

Kritiker sagen: Transparenz, nicht interne Forschung, ist der fehlende Baustein

Professorin Gina Neff, die das Minderoo Centre for Technology and Democracy an der Universität Cambridge leitet, argumentiert, dass OpenAIs Antwort die Notwendigkeit externer Rechenschaftspflicht umgehe. „Anstatt bessere KI-Schutzvorkehrungen, Regulierungen oder Zusicherungen zum Schutz der Menschen vorzuschlagen, schlagen sie vor, interne KI-Agenten zu entwickeln, um diese Probleme zu erforschen“, sagte sie. „Solche Antworten auf wachsende Bedenken hinsichtlich der Probleme, die OpenAIs Modelle für Cybersicherheit, Arbeitsplatzverlust, Fehler und Betrug verursachen, sind einfach nicht gut genug.“

Nathan Calvin, General Counsel der Interessenvertretung Encode AI, stimmt Pachocki bei den Gefahren zu, sagt aber, die Unwilligkeit des Unternehmens zur Transparenz untergrabe seine Glaubwürdigkeit. Er schrieb auf X, Warnungen riskierten als „nur eigennütziger Hype“ abgetan zu werden, es sei denn, OpenAI teile weit mehr Informationen darüber, was es beobachtet, was seine Rufe zur Vorsicht veranlasst.

Der EU AI Act und seine jurisdiktionalen Grenzen

Der Europäischen Union AI Act trat am 2. August 2026 in Kraft. Er verlangt von Anbietern der leistungsstärksten Modelle, einschließlich OpenAI, den Nachweis, dass ihre Systeme nicht autonom Cyber-Angriffe starten oder menschlicher Kontrolle entziehen können, bevor sie in Europa verkauft werden dürfen. Die Verordnung stellt den bislang umfassendsten Versuch dar, KI an der Grenze des Machbaren zu regeln, doch ihre Zuständigkeit endet an Europas Grenzen. Ein anderswo entwickeltes außer Kontrolle geratenes Modell könnte weiterhin europäische Infrastruktur bedrohen, eine Lücke, die Pachocki implizit anerkennt, indem er internationale Schwellenwerte fordert.

Die Durchsetzungsarchitektur des Acts wird noch aufgebaut. Die Europäische Kommission richtet das KI-Büro ein, um die Einhaltung zu überwachen, während nationale Marktüberwachungsbehörden die Durchsetzung auf Mitgliedstaatsebene übernehmen. Vorerst gilt die Gesetzgebung nur für Modelle, die auf den EU-Markt gebracht werden, was einen regulatorischen Leerraum für Systeme hinterlässt, die ausschließlich außerhalb des Blocks eingesetzt, aber über das Internet zugänglich sind.

Freiwillige Pausen und die Koordinationsfrage

Pachockis Hoffnung auf „freiwillige Verlangsamungen“ spiegelt eine Debatte wider, die seit Anfang 2023 läuft, als mehrere Labore einen offenen Brief unterzeichneten, der eine sechsmonatige Pause beim Training von Systemen forderte, die leistungsstärker als GPT-4 sind. Diese Pause kam nicht zustande. OpenAIs Offenbarung im August, es habe einige Trainingsläufe verlangsamt, ist der erste konkrete Hinweis darauf, dass ein großes Labor sein Tempo aus Sicherheitsgründen angepasst hat, doch der Mangel an Details macht es unmöglich zu beurteilen, ob der Schritt substantiell oder symbolisch ist. Ohne gemeinsamen Rahmen riskiert einseitige Zurückhaltung, weniger vorsichtigen Wettbewerbern das Feld zu überlassen.

Warum das wichtig ist

Hintergrund: Von GPT-4 zu GPT-6 Astra

Was als Nächstes passiert

Erwähnte Personen

  • Jakub Pachocki

    Chief scientist, OpenAI

  • Gina Neff

    Head of the Minderoo Centre for Technology and Democracy, University of Cambridge

  • Nathan Calvin

    General counsel, Encode AI

Organisationen

OpenAI · European Commission · Anthropic · Hugging Face · Encode AI · University of Cambridge