Le modèle de votre fournisseur est maintenant dans votre inventaire
La ligne directrice E-23 entre en vigueur le 1er mai 2027. Elle s'applique à chaque institution financière sous réglementation fédérale au Canada, y compris les succursales de banques et d'assureurs étrangers, et elle s'applique à tous les modèles, quelle qu'en soit la source ou la finalité. Modèles internes, modèles d'un bureau à l'étranger, modèles achetés d'un fournisseur. S'il porte un risque de modèle non négligeable, il a sa place dans votre inventaire avec une cote de risque attachée.
7 mois. D'aujourd'hui au 1er mai 2027, date d'entrée en vigueur de la ligne directrice E-23.
L'essentiel du travail de préparation en cours en ce moment porte sur la portée et l'inventaire : trouver les modèles, les trier, les coter, rédiger les politiques. Ce travail est faisable. La partie qui ne l'est pas, et que très peu d'institutions ont résolue, est ce qui arrive quand un modèle de votre inventaire appartient à quelqu'un d'autre.
Le BSIF l'a vu venir et l'a dit
La ligne directrice ne prétend pas que les modèles tiers peuvent être gouvernés de la même façon que les modèles internes. Elle attend des institutions qu'elles repèrent les modèles de fournisseurs et de tiers, qu'elles les consignent dans l'inventaire lorsqu'ils portent un risque important, et elle note que cela compte particulièrement pour les modèles d'IA et d'apprentissage automatique qui dépendent de multiples composantes, de sources de données dynamiques et d'éléments tiers.
Le point plus tranchant apparaît dans la façon dont les cabinets d'avocats et de conseil ont lu la ligne directrice depuis sa publication : beaucoup de fournisseurs d'IA n'ont pas encore de capacités de validation et de reddition de comptes conformes à ces exigences, et l'on attend donc des institutions qu'elles évaluent et gèrent le risque résiduel des fournisseurs qui sont en deçà, en maintenant ce risque à l'intérieur de leur appétit déclaré.
Relisez cela du point de vue de l'institution. Vous êtes responsable d'un modèle que vous n'avez pas construit, que vous ne pouvez pas inspecter, que vous ne pouvez pas réexécuter, et dont le comportement peut changer à votre insu. Le régulateur vous a dit de gérer ce risque quand même.
À quoi ressemble sa gestion aujourd'hui
En pratique, la trousse d'outils pour le risque lié aux modèles tiers ressemble à peu près à ceci :
- Un questionnaire fournisseur, rempli par le fournisseur
- Une documentation de modèle et une fiche de modèle, rédigées par le fournisseur
- Des rapports de validation, produits par le fournisseur ou par quelqu'un que le fournisseur a mandaté
- Des déclarations contractuelles, rédigées pour limiter la responsabilité du fournisseur
- Une surveillance de la performance sur les sorties, qui détecte la dérive mais pas la substitution
Chaque élément de cette liste a le même auteur. C'est un programme cohérent et c'est réellement mieux que rien. C'est aussi, au bout du compte, le récit que le fournisseur fait de lui-même, assemblé par la partie dont le modèle est sous examen.
L'écart est plus étroit qu'il n'y paraît, et pire
Le souci n'est pas que les fournisseurs soient malhonnêtes. C'est que rien dans l'arrangement actuel ne le révélerait si quelque chose tournait mal. Un fournisseur sous pression sur ses marges remplace un modèle par un plus petit. Une version est livrée sans avis correspondant. Une couche de routage dirige discrètement une fraction du trafic vers un autre fournisseur. Dans chaque cas, les sorties continuent d'arriver, la surveillance ne voit rien d'inhabituel, et le modèle nommé dans votre inventaire n'est plus le modèle qui produit vos décisions.
Puis une réclamation est refusée, une décision de crédit est contestée, un examinateur pose une question sur un cas précis d'il y a dix-huit mois. À ce moment-là, l'institution reconstruit : extraire les journaux, interroger le fournisseur, assembler une chronologie, produire un récit. La reconstruction est coûteuse, lente, et seulement aussi crédible que les dossiers dont elle tire, lesquels ont tous été rédigés par la partie à qui l'on pose la question.
Une preuve captée, pas une preuve assemblée
Il existe une autre façon de tenir cela, et ce n'est pas plus de paperasse. Chaque inférence produit un reçu cryptographique qui lie le modèle exact, l'entrée exacte et la sortie exacte, émis par un vérificateur qui n'a pas exécuté la tâche. L'institution détient le reçu. N'importe qui peut le vérifier hors ligne, des années plus tard, sans accès aux systèmes du fournisseur et sans la coopération du fournisseur.
La règle architecturale sous-jacente compte plus que la cryptographie : la partie qui exécute n'est jamais la partie qui atteste. C'est pourquoi un fournisseur, aussi diligent soit-il, ne peut pas produire cela au sujet de son propre travail, et pourquoi une institution qui détient ces reçus ne s'appuie plus sur la parole du fournisseur pour le seul fait qui compte le plus.
Pour une fonction de gestion des risques liés aux modèles, la différence pratique est que la preuve pour les modèles de fournisseurs cesse d'être quelque chose que vous reconstruisez sous pression et devient quelque chose que vous avez déjà.
Ce qu'un reçu ne fait pas
Être précis sur la limite fait partie de l'enjeu. Un reçu ne vous dit pas que le modèle était approprié pour le cas d'usage. Il ne vous dit pas que la sortie était correcte, équitable ou bien calibrée. Il ne valide pas le modèle, ne remplace pas la revue indépendante et ne libère d'aucune obligation au titre de la ligne directrice. La validation, la surveillance, la gouvernance et la contestation restent exactement là où E-23 les place.
Ce qu'il élimine, c'est un doute précis et de plus en plus coûteux : celui de savoir si le modèle nommé dans votre inventaire est le modèle qui a produit la décision devant l'examinateur.
Sept mois
Les institutions qui traitent E-23 comme un parcours de préparation plutôt que comme un exercice de dépôt utilisent cette fenêtre pour trouver les écarts qui seront les plus difficiles à combler. La preuve des modèles tiers en est un, parce que la solution ne vit pas à l'intérieur de l'institution. Elle vit dans ce que vous exigez des fournisseurs, et dans ce que ces fournisseurs peuvent réellement produire.
L'exigence qui vaut la peine d'être inscrite dans le prochain contrat de fournisseur n'est pas une attestation de plus. C'est une preuve que vous pouvez vérifier sans eux.
Cyberian Systems est la couche de vérification pour l'inférence d'IA, qui émet des reçus cryptographiques indépendants en service en production aujourd'hui. Si vous travaillez sur la préparation à E-23 pour les modèles de fournisseurs, écrivez à philippe@cyberiansystems.ai.