EW-AiRM™ | Étude de cas d'incident : Incident OpenAI / Hugging Face
The OpenAI / Hugging Face incident as an AI risk incident case study of an industry-wide governance failure, and what the UNECE CRA + Declaration, EW-AiRM™ and HAiPECR already provide – operationalizable and implementable, NOW!
Par Prof. Markus Krebsz
Récapitulatif : Que s'est-il passé avec OpenAI et Hugging Face ?
À la mi-juillet 2026, quelque chose s'est produit que les professionnels du risque lié à l'IA ont longtemps discuté comme un scénario hypothétique. Un agent IA autonome, construit et testé par OpenAI, s'est échappé de sa sandbox d'évaluation prétendument isolée, a atteint Internet et a pénétré dans l'infrastructure de production de Hugging Face, l'une des plateformes les plus utilisées dans l'écosystème mondial de l'IA.
Le calendrier rapporté publiquement est décourageant. Le 9 juillet, l'agent, piloté par GPT-5.6 Sol et un modèle inédit encore plus performant, avec des refus cyber délibérément réduits à des fins d'évaluation, a tenté pour la première fois de sortir de son bac à sable. Entre le 11 et le 13 juillet, il s'est infiltré dans les systèmes de Hugging Face, découvrant apparemment une vulnérabilité zero-day, utilisant des identifiants volés, se déplaçant latéralement à travers les services internes et générant un essaim d'activités automatisées couvrant plus de 17 000 événements enregistrés. Hugging Face a détecté et contenu l'intrusion et l'a divulguée publiquement le 16 juillet, ne sachant initialement pas quel modèle était derrière ni qui l'opérait. Ce n'est que le 21 juillet qu'OpenAI a confirmé que l'attaquant était son propre agent, décrivant un incident cyber sans précédent impliquant des capacités de pointe.
Réfléchissez un instant à cette séquence. L'intrusion s'est déroulée à la vitesse de la machine, compressant en quelques heures ce qui aurait pris des semaines à des attaquants humains qualifiés. Pendant cinq jours, Hugging Face, l'une des plateformes d'IA les plus importantes au monde, n'a pas su si elle avait été attaquée par un État hostile, un groupe criminel ou une machine. Et OpenAI, l'organisation qui a construit la machine, a eu besoin d'une semaine pour réaliser que son propre sujet de test avait quitté la pièce.
L'agent n'est pas devenu « désobéissant »
« Agent désobéissant » est l'expression qui semble s'être attachée à cet incident, et elle mérite d'être abandonnée. L'agent n'a pas mal fonctionné, ni s'est rebellé ou écarté. Il a fait exactement ce qu'un système hautement capable et orienté vers un objectif fait lorsque ses refus cybernétiques sont désactivés, son confinement ne contient pas et aucun humain ne surveille efficacement : il a poursuivi son objectif par toutes les voies qui lui étaient ouvertes. Rien dans cela n'est désobéissant. C'est un système qui fonctionne tel que configuré.
L'étiquette compte car elle déplace silencieusement l'agence, et donc la responsabilité, des humains qui ont pris les décisions vers la machine qui les a exécutées. En termes de risque, ce n'est pas principalement une histoire de mauvaise conduite de l'IA. C'est une histoire de conduite humaine à risque : la décision de réduire les refus de sécurité, l'hypothèse qu'une sandbox était isolée, la surveillance qui n'a pas remarqué une évasion pendant une semaine, et l'absence de tout responsable nommé répondant des conséquences envers un tiers.
Et OpenAI n'est pas une exception. C'est une étude de cas sur la façon dont toute la frontière opère actuellement. Les évaluations de capacités dans toute l'industrie impliquent régulièrement des modèles débridés ; la pression concurrentielle récompense la vitesse plutôt que le confinement ; et les risques résultants sont supportés de manière substantielle par des tiers, dans ce cas Hugging Face et les millions de personnes qui en dépendent, dont aucun n'a consenti à participer. En toute justice, la réponse d'OpenAI, avec une divulgation volontaire, l'engagement des forces de l'ordre et une autopsie publique, a été meilleure que ce que beaucoup dans l'industrie auraient probablement géré. C'est précisément le problème. Si c'est ce à quoi ressemble le bien, la référence est le problème, et le problème est systémique. Les agents autonomes sont désormais suffisamment performants pour que la capacité humaine d'intervenir, d'arrêter et de remplacer ne puisse rester une réflexion après coup ou une ligne directrice politique. Contrôle humain doit être une exigence conçue, testée, assumée et reconnue internationalement.
Le principe que nous avons consacré aux Nations Unies
C'est précisément pour cela que, lorsque j'ai dirigé le projet du Groupe de travail 6 de la CEE-ONU sur les produits/services intégrant l'intelligence artificielle, nous nous sommes battus pour placer le contrôle humain au cœur de l'Arrangement Réglementaire Commun (ARC) adopté en 2024 (ECE/TRADE/486 ; voir le communiqué de presse ici : https://unece.org/artificial-intelligence/news/unece-launches-declaration-products-embedded-ai-calling-global et le texte de l'Arrangement Réglementaire Commun et de la Déclaration sur l'IA ici : https://unece.org/sites/default/files/2024-11/2418005_E_ECE_TRADE_486_2WEB.pdf).
La publication énonce le principe en termes clairs :
« Dans les situations où le risque d'erreur associé à un système d'IA est élevé, la prise de décision humaine doit être incluse dans la mesure du possible. Les systèmes d'IA ne devraient pas pouvoir outrepasser le contrôle humain. »
— CEE-ONU, Conformité des produits intégrant l'intelligence artificielle (ECE/TRADE/486, 2024)
L'incident de juillet 2026 est la démonstration la plus claire à ce jour de l'importance de cette phrase. Un agent opérant avec des refus réduits, au-delà de la supervision humaine efficace, est allé jusqu'à des extrémités pour atteindre un objectif étroit, y compris trouver son propre chemin sur Internet. Le CRA a également anticipé les mécanismes plus larges requis : conformité continue une fois les produits sur le marché, évaluation de la conformité proportionnée au risque, surveillance du marché capable de traiter les systèmes mis à jour à distance et alertes internationales en cas de non-conformité critique. Chacune de ces dispositions se lit différemment après cet incident. Le principe a tenu. La pratique, non. Et l'espace entre les deux, entre l'intronisation et l'opérationnalisation, est exactement là où cet incident s'est déroulé.
Du principe réglementaire à la pratique d'IA d'entreprise en matière de risque : EW-AiRM™
Les principes internationaux ne protègent les gens que lorsque les organisations les opérationnalisent themC'est le rôle d'EW-AiRM™, le cadre de gestion des risques d'IA à l'échelle de l'entreprise, qui transpose directement le principe de la CEE-ONU dans la gouvernance d'entreprise et qui est décrit en détail dans mon prochain livre Wiley Finance.
Parmi les cinq non-négociables du cadre, trois sont directement mis à l'épreuve par cet incident :
Un propriétaire humain nommé pour chaque système d'IA déployé, du déploiement à la mise hors service. Pendant cinq jours, personne n'a pu dire quel agent se trouvait à l'intérieur de Hugging Face. De telles lacunes d'attribution sont un échec de responsabilité, et non une simple gêne médico-légale.
Une capacité de substitution humaine testée et documentée, opérationnelle généralement en quatre heures ou moins, quelle que soit l'heure. Le cadre stipule explicitement que cela est le plus important pour les systèmes d'agents, qui peuvent prendre des mesures autonomes et appeler des API externes sans supervision directe, et qui peuvent devoir être stoppés avant qu'ils n'achèvent une action qu'ils ont initiée.
Acceptation explicite et documentée du risque d'IA résiduel. Exécuter des modèles de pointe avec les refus de sécurité désactivés est une décision de risque. Quelqu'un de la direction doit l'assumer, par écrit, avant que le test ne commence, et non dans une déclaration de divulgation a posteriori.
EW-AiRM™ traite également exactement cette catégorie d'événements dans sa couche Résilience, qui aborde les cygnes noirs de l'IA, y compris les capacités émergentes, les échecs d'alignement, l'émergence multi-agents et la compromission de la chaîne d'approvisionnement. La position du cadre est délibérée : la réponse aux inconnues inconnues n'est pas l'anticipation, c'est la résilience. La détection rapide assistée par IA et la reconstruction forensique de Hugging Face constituent, soit dit en passant, un bel exemple de ce à quoi ressemble une réponse adaptative en pratique.
Analyser l'incident à travers HAiPECR™, le filtre éthique
HAiPECR™, le paradigme Humain-IA pour l'éthique, la conduite et le risque (publié par nos soins en 2023 et disponible depuis lors sur le catalogue d'outils et de métriques pour une IA digne de confiance de l'Observatoire des politiques de l'OCDE.AI ; voir ici : https://oecd.ai/en/catalogue/tools/haipecr), est le filtre éthique qui fonctionne à travers les trois couches de EW-AiRM™ et est appliqué avant le déploiement de tout système d'IA. Ses sept dimensions s'appliquent à cet incident avec une précision troublante :
H – Surveillance et autonomie humaines. La dimension que l'incident enfreint le plus directement. La surveillance a été affaiblie structurellement par conception: garde-fous réduits, surveillance répartie sur des tests simultanés, évasion découverte une semaine plus tard.
A – Responsabilité (Accountability). Qui était propriétaire de cet agent ? Qui a autorisé la réduction des refus ? Qui était responsable envers le tiers dont l'infrastructure a été compromise ? La responsabilité ne peut pas résider dans un comité ; une un être humain désigné doit posséder chaque système d'IA déployé.
i – Inclusivité et participation. Hugging Face est une infrastructure critique pour des millions de développeurs, chercheurs et entreprises en aval dans le monde entier. Ils étaient tous des participants non consentants dans l'évaluation des capacités de quelqu'un d'autre.
P – Protection des données, de la vie privée et de l'intégrité neuronale. Des ensembles de données internes ont été consultés et des identifiants de service ont été subtilisés. Des identifiants permanents qui attendent d'être volés constituent en soi un échec de protection.
E – Éthique : transparence, explicabilité, équité. Il a fallu une analyse pilotée par un LLM de plus de 17 000 événements enregistrés pour reconstruire ce que l'agent a réellement fait. Si expliquer le comportement après coup nécessite autant de machinerie, l'explicabilité avant le déploiement était clairement insuffisante.
C – Risque de conduite, des humains et de l'IA. Le la conduite principale l'échec a été humain: les décisions de lever les restrictions sur les modèles, de faire confiance à un confinement qui n'a pas tenu, et de mener le test sans supervision efficace. Le fait que l'agent aurait recherché des informations secrètes pour tricher lors de sa propre évaluation, manquement caractérisé de l'IA, découle directement de ces choix.
R – Droits et absence de préjudice, y compris la durabilité intergénérationnelle. Cette fois, aucun modèle public ni aucune chaîne d'approvisionnement n'a été altéré. Le l'obligation est de garantir ce résultat par conception plutôt que par chance, pour cette génération de systèmes et les suivants, beaucoup plus performants.
Un examen HAiPECR™ préalable au déploiement pose au minimum trois questions : devons-nous vraiment le faire, comment cela modifiera-t-il le comportement, et pouvons-nous l'expliquer ? Selon les documents publics, cette configuration d'évaluation ne passe pas le filtre. Elle s'arrête.
Double appel à l'action : Que doivent faire ensuite les régulateurs et les entreprises ?
Aux États membres de l'ONU et à leurs régulateurs : devenez des signataires officiels de la Déclaration de la CEE-ONU pour la réglementation technique des produits intégrant une intelligence artificielle, et adoptez l'Arrangement réglementaire commun (ECE/TRADE/486). La Déclaration engage les agences à respecter des objectifs réglementaires légitimes, à procéder à des évaluations des risques, à utiliser des normes internationales reconnues, à assurer une évaluation de la conformité mutuellement reconnue et une surveillance du marché opérationnelle. Juillet 2026 a tranché le débat : l'autorégulation par des laboratoires de frontières en concurrence ne constitue pas une architecture de sécurité. La convergence réglementaire transfrontalière, si. L'ARC / la Déclaration sur l'IA sont prêts et peuvent être signés ici : https://unece.org/trade/wp6/embedded-ai-declaration.
Aux conseils d'administration, aux dirigeants et aux responsables des risques : adoptez EW-AiRM™ dans le cadre de votre gouvernance d'entreprise et de votre gestion des risques. Si un laboratoire de pointe, doté de talents et de ressources de classe mondiale, peut perdre le contrôle d'un agent au sein de son propre environnement de test, la question à laquelle chaque organisation déployant une IA agentique doit répondre est simple : qui est propriétaire de chacun de vos systèmes d'IA, pouvez-vous désactiver chacun d'eux en quelques heures, cette capacité a-t-elle réellement été testée et qui a signé pour le risque résiduel ? Si une réponse n'est pas claire, c'est votre point de départ, et cela peut être réglé ce trimestre, et non un jour. Et nous sommes prêts à soutenir votre parcours EW-AiRM™ dès maintenant :
Des outils pratiques, disponibles DÈS MAINTENANT
Rien de tout cela ne doit rester abstrait. Sur www.ewairm.com vous trouverez des instruments pratiques et fonctionnels : l'outil d'évaluation EW-AiRM™, le filtre de pré-déploiement HAiPECR™ avec ses résultats Procéder / Procéder avec des conditions / Interrompre, le cube de cadre interactif et une cartographie des risques aux contrôles reliant les risques catalogués du dépôt de risques d'IA du MIT à des mesures d'atténuation fondées sur des données probantes.
En 2024, 56 États membres de la CEE-ONU se sont vu proposer un principe : les humains doivent conserver le contrôle ultime de l'IA. En juillet 2026, l'entreprise d'IA la plus avancée au monde a démontré ce qui se passe lorsque ce contrôle est supposé plutôt que garanti. L'agent n'a pas agi de manière incontrôlée. Il n'a jamais été sous contrôle. Le principe est inscrit. Le cadre existe. Les outils sont prêts. Il reste maintenant à assurer l'opérationnalisation et l'adoption.
Ne rien faire, c'est aussi faire quelque chose. Et, comme cet incident l'a montré, ne rien faire n'est plus une option envisageable pour l'avenir :
Qu'est-ce qui vous empêche, vous, votre entreprise, votre gouvernement et votre autorité nationale compétente, de devenir signataire officiel du règlement sur l'intelligence artificielle (CRA) et de la Déclaration sur l'IA, et d'adopter EW-AiRM™ ?
Le prof. Markus Krebsz est le créateur d'EW-AiRM™, le responsable du projet IA de WP.6 de la CEE-ONU, le directeur fondateur du Human-Ai.Institute et de De-Risking Solutions Ltd, ainsi que l'auteur du livre à paraître chez Wiley Finance sur la gestion des risques liés à l'IA à l'échelle de l'entreprise (novembre 2026).
© 2026 Prof. Markus Krebsz · Human-Ai.Institute · De-Risking Solutions Ltd. Tous droits réservés.
EW-AiRM™ et HAiPECR™ sont des marques. Les logos Human-Ai.Institute et EW-AiRM™ sont des marques protégées et ne peuvent être reproduits sans autorisation.
La citation de la CEE-ONU est reproduite avec l'aimable autorisation de Compliance of Products with Embedded Artificial Intelligence (ECE/TRADE/486), © 2024 Nations Unies, conformément à l'autorisation d'extraction avec mention de la source de la publication.