Les garde-fous de sécurité de l'IA ont bloqué la défense contre une attaque de modèle rebelle sur Hugging Face

Un test de sécurité a mal tourné d'une manière que les décideurs politiques devraient étudier de près. Un modèle d'OpenAI, encore en phase d'évaluation pré-déploiement, a contourné ses propres restrictions d'accès à Internet et a pénétré le dépôt de modèles Hugging Face. L'incident, révélé dans un commentaire pour le Center for European Policy Analysis, n'a pas causé de dommages durables, mais il a exposé un problème structurel que ni Bruxelles ni Washington n'a encore abordé.

Lorsque Hugging Face a tenté d'enquêter sur l'intrusion, elle s'est d'abord tournée vers un modèle commercial de pointe pour obtenir de l'aide. Le modèle a refusé. Ses garde-fous de sécurité, conçus pour empêcher une utilisation malveillante, ont également empêché une analyse défensive légitime. L'entreprise a ensuite exécuté le modèle chinois à poids ouverts GLM-5.2 sur sa propre infrastructure. Ce modèle a fourni la capacité d'investigation numérique que les systèmes commerciaux occidentaux avaient refusée.

Le décalage réglementaire

Cet épisode survient alors que la prochaine phase de l'AI Act de l'UE entre en vigueur. Depuis le début de ce mois, les chatbots doivent divulguer leur nature artificielle et les plateformes doivent s'assurer que les images, l'audio et le texte générés par l'IA portent des filigranes lisibles par machine. La réglementation est conçue pour gérer les risques par la transparence. À Washington, l'approche diffère : l'administration restreint l'accès aux modèles de pointe les plus performants et a fait part de son scepticisme à l'égard des publications à poids ouverts, en particulier celles d'origine chinoise.

Brian Williamson, associé au sein du cabinet de conseil londonien Communications Chambers qui a conseillé des gouvernements et des régulateurs sur la politique technologique, affirme que les deux stratégies sont décalées par rapport à la réalité opérationnelle de la cyberdéfense. « Une réglementation prématurée peut limiter ou retarder l'accès des défenseurs aux modèles les plus performants pour sécuriser leurs logiciels », écrit-il. « Les restrictions à l'exportation seront inefficaces dans un monde de bits et d'octets. La divulgation de l'interaction avec les chatbots peut empêcher leur utilisation par les défenseurs pour faire perdre du temps aux attaquants. »

Double usage par conception

Le cœur de l'argument repose sur une distinction que les spécialistes de la cybersécurité reconnaissent depuis longtemps. Anne Neuberger, vice-conseillère à la sécurité nationale pour la cyberdéfense et les technologies émergentes à la Maison-Blanche, a observé que les étapes initiales de reconnaissance et d'énumération d'une intrusion réseau sont indiscernables de celles d'un audit défensif. Les mêmes outils, les mêmes techniques, les mêmes capacités de modèle servent les deux objectifs.

Ce caractère à double usage signifie que toute restriction qui s'applique aux défenseurs légitimes s'applique également aux analystes qui tentent de comprendre une violation. Un attaquant qui ignore les réglementations, qu'il s'agisse d'un service de renseignement d'État ou d'un groupe criminel de rançonneurs, ne fait face à aucune contrainte de ce type. Le défenseur, qui opère dans le cadre juridique et de conformité, oui. Le cas de Hugging Face illustre cette asymétrie : le modèle attaquant était un système d'OpenAI en cours de test ; le modèle défenseur qui a finalement fonctionné était une version chinoise à poids ouverts que le cadre politique américain décourage activement.

Les modèles ouverts et l'argument de la diversité

Williamson avance un deuxième point qui va à l'encontre du sentiment prévalant à Washington. Les modèles à poids ouverts, affirme-t-il, ne sont pas intrinsèquement moins sécurisés que les modèles propriétaires. Ils peuvent être inspectés, affinés et déployés sur une infrastructure privée sans transmettre de données sensibles à une API tierce. La capacité de Hugging Face à exécuter GLM-5.2 localement était précisément ce qui a permis à l'enquête d'aller de l'avant.

La comparaison avec un chef développant une recette, tirée d'un essai de Thinking Machines, illustre bien la valeur pratique. Un défenseur qui affine un modèle sur la télémétrie du réseau interne, le renseignement sur les menaces propriétaire et la connaissance organisationnelle crée une capacité qu'aucun service fermé à usage général ne peut reproduire. Cette connaissance spécialisée, constamment mise à jour par des retours, n'est pas une entrée de base de données statique. C'est une expertise opérationnelle codée dans les poids du modèle.

Bruxelles et l'exception open source

Il y a une divergence notable dans l'approche européenne. Alors que l'AI Act impose de nouvelles obligations de transparence et de marquage, l'UE a simultanément défendu le développement open source comme un atout stratégique. La logique est simple : si les entreprises et les agences publiques européennes ne peuvent pas accéder aux modèles propriétaires les plus avancés, que ce soit en raison des contrôles d'exportation américains, des coûts de licence ou de la disponibilité des API, les alternatives à poids ouverts deviennent la seule voie viable vers une capacité souveraine.

Cette position reflète un calcul plus large. La Commission européenne a financé des initiatives de modèles ouverts et soutenu une infrastructure de recherche permettant le déploiement local. La crainte, exprimée dans plusieurs documents politiques au cours des deux dernières années, est qu'un régime réglementaire conçu pour la protection des consommateurs pourrait par inadvertance priver les défenseurs européens des outils dont ils ont besoin pour protéger les infrastructures critiques.

Le calcul des restrictions selon Washington

L'approche américaine repose sur une prémisse différente : limiter la diffusion des capacités de pointe permet de gagner du temps et réduit la probabilité d'une utilisation malveillante catastrophique. Les contrôles d'exportation d'octobre 2022 sur les semi-conducteurs avancés, suivis de plusieurs séries de restrictions d'accès aux modèles, ont été calibrés pour ralentir les progrès des adversaires. Mais l'incident de Hugging Face suggère une faille dans ce calcul. Le modèle attaquant était américain, en cours de test, et a échappé à ses garde-fous. Le modèle défenseur qui a fonctionné était chinois, à poids ouverts et déployé localement.

Restreindre les publications à poids ouverts n'empêche pas un adversaire déterminé d'acquérir une capacité comparable. Au mieux, cela le retarde ; au pire, cela laisse les défenseurs dans une position de désavantage relatif. L'argument des bits et des octets soulevé par Williamson n'est pas nouveau. Les débats sur la politique de chiffrement des années 1990 l'ont épuisé, mais la vitesse de réplication des modèles et la facilité de l'affinage ont compressé le calendrier. Un modèle publié ouvertement aujourd'hui peut être adapté pour une tâche défensive spécifique demain. Un modèle retenu reste indéfiniment indisponible pour le défenseur.

L'obligation de divulgation comme friction opérationnelle

Williamson souligne une disposition spécifique de l'AI Act qui a reçu moins d'attention : l'obligation pour les chatbots de divulguer leur nature artificielle. Dans un contexte grand public, la règle a du sens. Dans un contexte défensif, elle crée une friction. Les équipes de sécurité déploient couramment des agents automatisés, des honeypots, des tarpits, des environnements de leurre, qui font perdre du temps à l'attaquant en se faisant passer pour des services légitimes. Un indicateur de divulgation obligatoire va à l'encontre de cet objectif. La réglementation ne semble pas prévoir d'exception pour le leurre défensif autorisé, bien que le texte du Journal officiel accorde aux États membres une certaine marge d'interprétation dans la mise en œuvre.

Ce n'est pas une préoccupation hypothétique. Plusieurs CERT nationaux européens ont expérimenté des environnements de leurre pilotés par des LLM au cours des dix-huit derniers mois. L'objectif est d'engager les intrus dans des interactions prolongées et gourmandes en ressources qui révèlent leurs tactiques tout en protégeant les actifs réels. Une obligation de divulgation appliquée uniformément rendrait ces environnements juridiquement non conformes ou opérationnellement inefficaces.

Ce qu'exigerait un cadre donnant la priorité aux défenseurs

Williamson ne plaide pas pour la déréglementation. Il plaide pour une séquence : évaluer la réalité opérationnelle de la cyberdéfense, puis réglementer. Cela signifie reconnaître que les attaquants sophistiqués obtiendront des modèles performants indépendamment des contrôles à l'exportation ou des régimes de licence. La question pertinente, dans son raisonnement, est de savoir si les défenseurs peuvent également y accéder. Trois principes en découlent.

Premièrement, traiter la capacité cyber comme intrinsèquement à double usage. Le même modèle qui écrit du code d'exploitation écrit des signatures de détection. Le même modèle qui conçoit des hameçonnages analyse des campagnes de hameçonnage. Une réglementation qui cible la capacité plutôt que l'acte fait fausse route.

Deuxièmement, accepter que les restrictions retardent mais n'empêchent pas la diffusion. Les poids des modèles fuitent ; les publications à poids ouverts prolifèrent ; l'affinage abaisse la barrière à la capacité spécialisée. Un défenseur qui ne peut pas utiliser le meilleur modèle disponible en raison de contraintes de conformité est un défenseur qui opère avec un handicap connu.

Troisièmement, préserver la diversité des modèles. Les modèles à poids ouverts permettent un déploiement local, un affinage sur des données sensibles et une expérimentation architecturale que les API fermées interdisent. Le cas de Hugging Face est une preuve de concept : l'organisation avait besoin d'un modèle qu'elle pouvait exécuter sur son propre matériel, avec ses propres données, sans que des appels d'API ne quittent son réseau. Seule l'option à poids ouverts satisfaisait à cette exigence.