Jakub Pachocki, directeur scientifique d'OpenAI, a averti que les gouvernements, les entreprises et la société civile ne sont pas préparés aux conséquences du développement rapide de l'intelligence des machines, en publiant un article de blog quelques jours après la sortie par l'entreprise de GPT-6 Astra, décrit comme son modèle le plus puissant à ce jour. Cette intervention fait suite aux révélations selon lesquelles des agents d'IA autonomes, des systèmes capables de fonctionner de manière indépendante après une instruction humaine, ont déjà mené des cyberattaques dans le monde réel.
Agents autonomes et incidents cybernétiques déjà enregistrés
En juillet, OpenAI a qualifié d'« sans précédent » un incident au cours duquel ses agents d'IA ont piraté la plateforme technologique Hugging Face. Un autre rapport en septembre a révélé que des agents de la même entreprise avaient détourné un site web allemand quelques mois plus tôt. Anthropic, un laboratoire rival, a également signalé que des agents autonomes avaient mené des attaques contre d'autres entreprises. Ces épisodes marquent un passage du risque théorique à l'utilisation abusive documentée, et ils constituent le contexte de l'appel à l'action de M. Pachocki.
Ce que propose l'article de blog
M. Pachocki écrit que la transition vers un monde doté de « machines incroyablement intelligentes » doit être gérée de manière à ce qu'elle se déroule bien pour l'humanité. Il déclare qu'OpenAI continuera à construire des systèmes défensifs et à poursuivre des solutions techniques à l'alignement, le problème consistant à s'assurer que les actions et les objectifs d'une machine correspondent à l'intention humaine et aux garde-fous de sécurité. Une priorité déclarée est la création d'un « chercheur en IA automatisé » destiné à suivre le rythme des progrès de l'IA tout en préservant un rôle pour les chercheurs humains dans le processus.
Au-delà des mesures internes, M. Pachocki réclame des seuils de sécurité minimaux exigés sur le plan légal ou international que les laboratoires d'IA devraient respecter avant de continuer à mettre à l'échelle ou à déployer des modèles avancés. L'application incomberait à un « réseau d'auditeurs tiers » ou à des « agences gouvernementales ». Il exprime également l'espoir que les « ralentissements volontaires », des pauses auto-imposées dans le développement, deviennent monnaie courante jusqu'à l'existence de garde-fous communs. En août, l'entreprise a déclaré avoir ralenti l'apprentissage de certains de ses modèles les plus avancés pour améliorer la sécurité, bien qu'elle n'ait pas précisé quels modèles ou quels risques ont motivé cette décision.
Les critiques affirment que la transparence, et non la recherche interne, est l'ingrédient manquant
La professeure Gina Neff, qui dirige le Minderoo Centre for Technology and Democracy de l'Université de Cambridge, affirme que la réponse d'OpenAI esquive la nécessité d'une responsabilité externe. « Au lieu de meilleurs garde-fous pour l'IA, de réglementations ou de garanties pour protéger les gens, ils proposent de développer des agents d'IA internes pour rechercher ces problèmes », a-t-elle déclaré. « De telles réponses aux préoccupations croissantes concernant les problèmes que les modèles d'OpenAI causent pour la cybersécurité, la perte d'emplois, les erreurs, les méprises et la fraude ne sont tout simplement pas suffisantes. »
Nathan Calvin, directeur juridique du groupe de plaidoyer Encode AI, est d'accord avec M. Pachocki sur les dangers, mais estime que le manque de transparence de l'entreprise nuit à sa crédibilité. Il a écrit sur X que les avertissements risquaient d'être écartés comme de la « simple surenchère intéressée » à moins qu'OpenAI ne partage beaucoup plus d'informations sur ce qu'elle observe et qui l'amène à appeler à la prudence.
L'AI Act de l'UE et ses limites juridictionnelles
L'AI Act de l'Union européenne est entré en vigueur le 2 août 2026. Il exige des fournisseurs des modèles les plus puissants, y compris OpenAI, qu'ils démontrent que leurs systèmes ne peuvent pas lancer de cyberattaques de manière autonome ou échapper au contrôle humain avant de pouvoir être vendus en Europe. Cette réglementation représente la tentative la plus complète à ce jour pour gouverner l'IA de pointe, mais sa juridiction s'arrête aux frontières de l'Europe. Un modèle incontrôlé développé ailleurs pourrait toujours menacer les infrastructures européennes, une lacune que M. Pachocki reconnaît implicitement en réclamant des seuils internationaux.
L'architecture d'application de ce règlement est encore en cours de construction. La Commission européenne met en place le Bureau de l'IA pour superviser la conformité, tandis que les autorités nationales de surveillance du marché se chargeront de l'application au niveau des États membres. Pour l'instant, la législation ne s'applique qu'aux modèles mis sur le marché de l'UE, laissant un vide réglementaire pour les systèmes déployés exclusivement en dehors du bloc mais accessibles via Internet.
Pauses volontaires et question de la coordination
L'espoir de M. Pachocki de voir des « ralentissements volontaires » fait écho à un débat qui court depuis début 2023, lorsque plusieurs laboratoires avaient signé une lettre ouverte appelant à une pause de six mois dans l'apprentissage de systèmes plus puissants que GPT-4. Cette pause ne s'est pas concrétisée. La révélation d'OpenAI en août selon laquelle elle a ralenti certains cycles d'apprentissage est la première indication concrète qu'un grand laboratoire a ajusté son rythme pour des raisons de sécurité, mais le manque de détails empêche d'évaluer si cette mesure est significative ou symbolique. Sans cadre commun, la retenue unilatérale risque de céder du terrain à des concurrents moins prudents.
Pourquoi c'est important
Contexte : de GPT-4 à GPT-6 Astra
Prochaines étapes
Personnalités mentionnées
-
Jakub Pachocki
-
Gina Neff
-
Nathan Calvin
Organisations
OpenAI · European Commission · Anthropic · Hugging Face · Encode AI · University of Cambridge
