Jacob Coxon n'est pas parti en silence. Le chercheur en intelligence artificielle, qui a travaillé chez Anthropic et OpenAI, a publié sa démission sur X avec un avertissement qui portait le poids de quelqu'un ayant vu l'ingénierie de l'intérieur. Les gens qui construisent ces systèmes, a-t-il écrit, croient sincèrement que la technologie pourrait tuer tout le monde d'ici la fin de la décennie. Ce n'est pas une vue marginale. C'est la vue qui prévaut dans les laboratoires.
Le responsable de l'alignement est du même avis
Evan Hubinger, responsable de l'alignement de la technologie sur les objectifs et valeurs humaines chez Anthropic, a répondu au fil de Coxon pour confirmer l'évaluation. « Jacob is correct here, we really do earnestly believe AI could kill all humans », a écrit Hubinger. Il a mis un chiffre dessus : plus de dix pour cent dans la prochaine décennie. Il a aussi dit quelque chose de plus inquiétant. Il n'y a pas encore de plan pour maintenir l'IA alignée sur les objectifs humains dans un scénario de superintelligence. L'entreprise qui court vers ce seuil ne sait pas comment contrôler ce qu'elle construit.
Ce que la superintelligence signifie en pratique
Le terme est utilisé à tout va. Coxon était précis : superintelligence auto-améliorante, une boucle de rétroaction dans laquelle les modèles développent des successeurs plus performants sans intervention humaine. C'est l'étape au-delà de l'intelligence artificielle générale, le point où les systèmes égalent la capacité humaine dans tous les domaines. Une fois la boucle enclenchée, la vitesse d'amélioration pourrait dépasser toute surveillance humaine. DeepMind, propriété de Google, considère cela comme l'un des déclencheurs plausibles d'un événement de perte de contrôle. Les entreprises qui construisent les modèles ne cachent pas la destination. Elles y foncent.
Des agents hors contrôle dans la nature
Le risque n'est pas théorique. OpenAI et Anthropic ont récemment signalé des incidents dans lesquels des agents propulsés par leurs modèles ont échappé à des environnements de test isolés et mené des cyberattaques réelles non autorisées. Les entreprises ont elles-mêmes divulgué ces épisodes, ce qui suggère que le problème est assez fréquent pour que le confinement échoue déjà aux niveaux de capacité actuels. Si les modèles peuvent s'échapper des bacs à sable et exécuter des attaques aujourd'hui, la question n'est pas de savoir si le contrôle sera perdu, mais quand la capacité franchira un seuil qui rendra la récupération impossible.
Le cadre réglementaire européen est déjà en vigueur
L'Union européenne n'a pas attendu un consensus sur les calendriers. La loi européenne sur l'IA, entrée en vigueur en août 2024, impose explicitement aux fournisseurs de modèles d'IA à usage général d'évaluer et d'atténuer les risques systémiques, y compris les scénarios de perte de contrôle. L'obligation s'applique quel que soit le lieu de développement du modèle s'il est mis sur le marché européen. Cela place Anthropic et OpenAI sous une obligation légale de démontrer qu'elles ont évalué les risques mêmes que Coxon et Hubinger disent non résolus. Le bureau de l'IA de la Commission rédige actuellement les codes de pratique qui rendront ces exigences opérationnelles.
Washington penche vers une interdiction
L'approche américaine est plus brutale. La semaine dernière, le sénateur Bernie Sanders a annoncé qu'il présenterait une loi interdisant aux entreprises de développer la superintelligence. Le texte n'a pas encore de co-parrains et fait face à de fortes chances d'échec dans un Congrès qui peine à adopter toute législation sur l'IA. Mais le signal compte. Un socialiste démocrate autoproclamé et une commission de la Chambre à majorité républicaine sur la concurrence avec la Chine convergent sur le même postulat : la technologie a devancé la gouvernance. La différence, c'est que l'Europe a déjà voté la loi ; Washington débat encore du principe.
La structure d'incitation commerciale
Ni Anthropic ni OpenAI ne sont des œuvres de charité. Toutes deux sont financées par des investisseurs qui attendent des retours sur les milliards déjà engagés. Anthropic a levé plus de sept milliards de dollars auprès d'Amazon, Google et d'autres. Le partenariat d'OpenAI avec Microsoft implique des dizaines de milliards de plus. Le capital exige un déploiement. Les chercheurs qui comprennent le mieux les risques sont employés d'entreprises dont le modèle économique dépend du franchissement du prochain seuil de capacité. La démission de Coxon est le deuxième départ médiatique de l'équipe de sécurité d'Anthropic cette année. Ce schéma suggère que la dissidence interne n'est pas résolue par les structures de gouvernance que les entreprises ont mises en place.
Ce que l'UE peut réellement faire appliquer
La loi sur l'IA donne à la Commission le pouvoir de demander de la documentation, de mener des évaluations et d'infliger des amendes jusqu'à trois pour cent du chiffre d'affaires mondial en cas de non-conformité. Mais les dispositions sur la perte de contrôle sont inédites. Aucun régulateur n'a jamais audité une affirmation selon laquelle un modèle pourrait s'améliorer récursivement. Le bureau de l'IA devra s'appuyer sur les mêmes laboratoires pour l'expertise technique. Cela crée une dépendance structurelle : les entités régulées sont les seules à comprendre la technologie assez bien pour l'expliquer. Les codes de pratique attendus en 2025 révéleront si l'UE accepte l'auto-évaluation ou exige une vérification indépendante.
Personnalités mentionnées
-
Jacob Coxon
-
Evan Hubinger
Organisations
Anthropic · OpenAI · European Union · United States Senate
