Le réviseur et le révisé ne peuvent pas être le même agent
La séparation des tâches est l'un des plus vieux contrôles qui soient. La personne qui rédige le chèque ne le signe pas. L'ingénieur qui écrit le code n'approuve pas son propre déploiement. L'IA agentique met discrètement à l'épreuve la survie de ce principe quand l'acteur et le réviseur sont la même sorte de chose.
Entrez dans n'importe quelle conversation sur la gouvernance, le risque et la conformité et vous tomberez sur la séparation des tâches dans les dix premières minutes. Elle est antérieure aux ordinateurs. Elle est antérieure à la plupart des cadres qui la codifient aujourd'hui. L'idée est d'une simplicité presque gênante : aucune partie ne devrait à la fois accomplir une action sensible et être la seule à attester que l'action a été accomplie correctement. Séparez le travail de la révision, et la fraude comme l'erreur deviennent bien plus difficiles, parce que les détecter ne dépend plus de l'honnêteté d'un seul acteur.
SOC 2 l'impose. ISO 27001 l'impose. ISO 42001 en hérite. Les régimes de contrôles financiers sont presque entièrement bâtis autour d'elle. Quand un auditeur demande qui a approuvé un changement, la mauvaise réponse est « la même personne qui l'a effectué ». Cette réponse n'est pas une constatation mineure. C'est LA constatation, parce qu'elle signifie que le contrôle sur lequel tout le reste repose n'a jamais vraiment existé.
Maintenant, insérez un agent d'IA dans cette phrase et observez ce qui se passe.
Ce que les systèmes agentiques font s'effondrer en silence
L'argument de vente de l'IA agentique, c'est qu'elle boucle la boucle. Un agent rédige le code, un autre agent révise la demande de tirage, un troisième exécute les tests, et un compte de service le déploie. Un agent lit la réclamation, un agent la confronte à la politique, un agent approuve le versement. Le discours, c'est que toute la chaîne fonctionne sans goulot d'étranglement humain. Ce que personne ne dit tout haut, c'est que la chaîne fonctionne aussi sans la séparation que ce goulot assurait.
Quand l'acteur et le réviseur sont deux instances du même modèle, ou deux invites contre le même système, l'indépendance est cosmétique. Ils partagent les poids, les données d'entraînement, les modes de défaillance et les angles morts. Un réviseur qui échoue exactement de la même façon que l'acteur n'est pas un contrôle. C'est une copie de l'acteur portant une étiquette différente. Si le premier agent hallucine un fait, le second agent est disposé à l'accepter, parce qu'il aurait produit le même fait. La séparation des tâches n'a jamais consisté à avoir deux étapes. Elle consistait à ce que la seconde partie soit structurellement incapable de partager les erreurs de la première.
La séparation des tâches exige que la partie qui révise soit indépendante de la partie qui agit. Deux composants qui partagent les mêmes poids, les mêmes invites et les mêmes modes de défaillance ne sont pas indépendants au sens où le contrôle l'exige, peu importe que le schéma du flux de travail les dessine comme des boîtes distinctes.
Ce n'est pas un argument contre les agents. Les agents sont réellement utiles, et une grande partie du travail qui exigeait autrefois un humain dans le fauteuil ne l'exige plus. C'est un argument sur ce que nous avons le droit d'appeler un contrôle une fois qu'un agent est dans le fauteuil. Un flux de travail où un agent révise un autre agent a automatisé le labeur de la révision. Il n'a pas préservé l'indépendance qui rendait la révision significative. Ce sont deux choses différentes, et l'écart entre elles est exactement là où vivra la prochaine génération de constatations.
La solution tentante qui n'en est pas une
La réponse évidente, c'est de réintroduire un approbateur humain à la fin. Une personne clique sur « approuver », et l'artefact que l'auditeur veut réapparaît. Sur papier, le contrôle est rétabli.
En pratique, il n'est souvent rétabli que de nom. Un humain à qui l'on demande d'approuver cinquante décisions générées par des agents à l'heure, sur une matière qu'il ne peut pas raisonnablement reconstituer, n'exerce pas de jugement indépendant. Il fournit une signature. La signature satisfait à la documentation, mais elle ne reconstitue pas la séparation, parce que l'humain n'est pas réellement en mesure de vérifier ce que l'agent a fait. Nous avons déplacé l'indépendance cosmétique d'une IA qui en révise une autre vers une personne qui appose un tampon sur un travail qu'elle ne peut pas vérifier. La case est cochée. Le contrôle reste creux.
La version honnête du problème est la suivante. Une véritable indépendance exige que le réviseur ait accès à quelque chose que l'acteur ne peut pas falsifier : un registre de ce qui s'est réellement passé qui ne provient pas du propre compte rendu de l'acteur sur lui-même. Avec des humains, nous l'avons approché par les rôles, la ségrégation des accès et la friction de personnes distinctes. Avec des agents qui agissent et révisent à la vitesse machine, les rôles et les contrôles d'accès ne suffisent pas à eux seuls, parce que ce qui est révisé est une affirmation que le système fait sur son propre comportement, et le réviseur lit cette même affirmation.
Ce que cela implique pour ISO 42001
ISO 42001 demande aux organisations de gouverner leurs systèmes d'IA et de conserver des registres opérationnels de la façon dont ces systèmes se comportent. Les clauses d'évaluation de la performance supposent que vous pouvez montrer ce que le système a fait. À mesure que les agents prennent en charge une plus grande part de l'action et de la révision, la question sous ces clauses s'aiguise : quand l'acteur et le réviseur sont tous deux des IA, qui joue le rôle de la partie indépendante ?
Je ne pense pas que la réponse soit d'interdire aux agents de réviser des agents. La réponse, c'est d'être précis sur ce qu'exige une révision. Si l'agent réviseur confronte l'agent acteur à un registre indépendant et infalsifiable de ce qui s'est réellement exécuté, plutôt qu'à la propre narration de l'agent acteur, alors quelque chose comme la séparation a été préservé, parce que le réviseur est ancré à un fait que l'acteur ne pouvait pas discrètement réécrire. Si l'agent réviseur se contente de lire la sortie de l'acteur et de se forger une opinion, alors aucun schéma de flux de travail n'en fait un contrôle.
Le test qu'un auditeur finira par poser, et que les praticiens de la GRC devraient commencer à poser dès maintenant, n'est donc pas « y a-t-il une étape de révision ». C'est « à quoi la révision est-elle ancrée, et la chose révisée aurait-elle pu produire cet ancrage elle-même ». Si la réponse est que l'acteur a produit sa propre preuve, la séparation est une illusion, peu importe le nombre d'agents dans la chaîne. Le plus vieux contrôle qui soit s'applique toujours. Il a simplement besoin d'être ancré à quelque chose que l'acteur ne peut pas falsifier, et dans un monde où des agents révisent des agents, fournir cet ancrage est un problème plus difficile que de dessiner une boîte de plus sur le schéma.