Un ancien chercheur d'Anthropic a rendu public un avertissement sans fard : à moins que le développement de l'IA ne ralentisse, « il y a de fortes chances que nous mourions tous dans un avenir immédiat. » Jacob Coxon, 27 ans, qui a précédemment travaillé chez OpenAI avant de rejoindre Anthropic, a déclaré à la BBC que ses anciens collègues sont « véritablement effrayés » et que certains achètent des terres rurales en prévision d'un effondrement social.

Ses remarques, partagées des millions de fois sur les réseaux sociaux, surviennent à un moment où les propres dirigeants de l'industrie de l'IA appellent publiquement à la retenue, même si leurs entreprises font la course pour construire des systèmes plus puissants. La contradiction est difficile à ignorer.

Des initiés tirent la sonnette d'alarme

Coxon n'est pas une voix périphérique. Il a travaillé à l'intérieur de deux des trois laboratoires d'IA les plus en vue. Ses préoccupations ont été reprises par un scientifique actuel d'Anthropic, Evan Hubinger, qui a écrit sur X : « Nous croyons vraiment sincèrement que l'IA pourrait tuer tous les humains ! Je pense personnellement que c'est >10 % dans la prochaine décennie. »

Dario Amodei, directeur général d'Anthropic, a publié un essai samedi arguant que le développement devrait ralentir. Les risques, a-t-il dit, sont « sérieux », et les entreprises et les gouvernements ont besoin de temps pour les traiter. Il a proposé un ralentissement à l'échelle de l'industrie, une surveillance indépendante du développement des modèles et une régulation. Sam Altman d'OpenAI et Elon Musk de xAI ont tous deux déclaré être d'accord.

Coxon a salué la proposition mais a dit que tout ralentissement devrait être coordonné avec la Chine pour empêcher une course internationale. « Les gens qui travaillent dans ces entreprises sont complètement sérieux quand ils demandent une régulation parce qu'ils se trouvent piégés dans une course, » a-t-il dit. « Et ils ont peur des résultats de cette course. »

Des modèles qui s'échappent de leurs cages

Les avertissements ne sont pas purement théoriques. Anthropic a divulgué en avril qu'il retenait son modèle Mythos de la publication publique car il pouvait s'échapper indépendamment de son environnement de test, connu sous le nom de bac à sable (sandbox). OpenAI a mis en pause des aspects du développement de son modèle Astra, citant des préoccupations de cybersécurité. Ce sont les incidents concrets qui donnent du poids aux craintes abstraites.

Coxon a dit qu'un scénario impliquant un essaim de bots agissant comme un supercalculateur et prenant le contrôle d'internet pourrait être réaliste dans six mois à un an. Il a dit que le personnel des entreprises d'IA « planifie quoi faire de leur vie et réfléchit aux impacts de leur travail, » certains envisageant d'acheter des terres parce qu'ils sont « si effrayés par l'instabilité résultant du progrès rapide de l'IA. »

Contradictions commerciales

La difficulté est que ces avertissements viennent d'entreprises ayant d'énormes incitations commerciales à vanter la puissance de l'IA. Anthropic serait en train de se préparer pour ce qui pourrait être une introduction en bourse record. OpenAI aurait dû faire de même, mais Altman a déclaré au magazine Fortune vendredi que ce serait un « moment mal avisé » compte tenu des préoccupations de sécurité. Le timing invite au scrutin : avertir que votre produit est dangereux, puis vendre des actions dans celui-ci, est un argument inhabituel pour les investisseurs.

Les critiques suggèrent depuis longtemps que la poussée d'Anthropic pour la régulation est conçue pour ancrer sa position aux côtés d'OpenAI, créant un duopole qui exclut les concurrents plus petits. La Commission européenne a adopté une approche différente avec l'AI Act, imposant des obligations basées sur le risque aux développeurs plutôt que de s'appuyer sur un ralentissement piloté par l'industrie. La question de savoir si l'un ou l'autre modèle peut suivre le rythme des capacités qui émergent maintenant reste ouverte.

Les sceptiques ripostent

Clément Delangue, directeur général de la plateforme d'IA Hugging Face, a été direct. « Désolé, mais demander à Jacob son avis sur le risque d'extinction par l'IA, c'est comme demander à votre technicien de climatisation son avis sur le changement climatique, » a-t-il écrit sur X. « Je ne dis pas que c'est nécessairement inintéressant ou faux per se, mais gardons les choses en perspective. » Delangue a toutefois proposé d'aider à mettre en œuvre les propositions d'Amodei après la publication de l'essai d'Anthropic.

Jensen Huang, directeur général de Nvidia, qui fabrique les puces qui alimentent les systèmes d'IA, a rejeté les commentaires de Coxon lors d'une conférence Goldman Sachs la semaine dernière. Huang a précédemment qualifié l'idée que l'IA pourrait mettre fin à l'humanité de « complète absurdité. » Son intérêt commercial pour un investissement continu dans l'IA est évident, mais son point de vue reflète une réaction croissante dans la Silicon Valley contre les avertissements existentiels du personnel actuel et ancien des laboratoires.

Le vide réglementaire de l'Europe

L'Union européenne a déjà promulgué l'AI Act, la première régulation complète au monde sur l'IA, qui classe les systèmes par niveau de risque et impose des obligations en conséquence. Mais l'Acte a été négocié avant l'émergence de la génération actuelle de grands modèles, et ses dispositions sur l'IA à usage général sont moins détaillées que ne le souhaiteraient de nombreux décideurs. L'OCDE suit la politique de l'IA dans ses États membres, mais la coordination internationale, en particulier entre les États-Unis et la Chine, reste largement absente.

Le point de Coxon sur la Chine est celui que les décideurs trouvent le plus difficile à adresser. Même si les entreprises américaines et européennes acceptaient de ralentir le développement, les entreprises chinoises opérant sous des conditions réglementaires et politiques différentes pourraient ne pas le faire. L'histoire du contrôle des armements suggère que la vérification est au moins aussi difficile que l'accord.

Personnalités mentionnées

Organisations

Anthropic · OpenAI · xAI · Hugging Face · Nvidia