Les quatre questions que je pose à chaque fournisseur d'IA avant de signer
Je ne suis pas l'ingénieure. Je suis celle qui signe le contrat du fournisseur, et celle qui doit en répondre plus tard. Voici les quatre questions que je pose avant que ma signature n'aille sur quoi que ce soit.
Dans mon dernier billet, j'ai écrit que mon travail consiste à défendre l'IA que nous utilisons, pas à la construire. Quelques personnes ont posé la question évidente : alors, qu'est-ce que vous demandez concrètement à un fournisseur ? Voici la réponse honnête. Quatre questions. Aucune n'est technique. Toutes portent sur une seule chose : quand quelqu'un en autorité demande ce que votre modèle a fait, pouvons-nous le prouver, ou répétons-nous ce que vous nous avez dit ?
Cela a cessé d'être abstrait cette année. Aux États-Unis, les régulateurs en assurance de douze États ont commencé à examiner comment les assureurs utilisent l'IA, et le cadre qu'ils emploient ne fait aucune distinction entre l'IA qu'une entreprise construit et celle qu'elle achète. La responsabilité reste avec l'entreprise dans les deux cas. Au Canada, la même logique arrive par le BSIF et les propres règles du Québec sur les décisions automatisées. Le schéma est partout le même : l'acheteur répond du modèle du fournisseur. Le contrat est donc l'endroit où je fais ma véritable gestion du risque, et ces quatre questions sont la façon dont j'y arrive.
Les quatre questions
Pouvez-vous me dire quelle version de votre modèle a produit un résultat précis, des mois après les faits ? Pas « journalisez-vous les choses ». Tout le monde journalise. Je veux dire : si un régulateur pointe une décision du trimestre dernier, pouvez-vous me dire exactement quelle version du modèle l'a générée. Si la réponse implique « il faudrait que nous vérifiions », la réponse est non — et je sais maintenant ce que je m'engage à défendre.
Si je dois reproduire une décision pour un examinateur, que pouvez-vous exactement me remettre ? Un résumé d'IA responsable n'est pas une réponse. Un rapport SOC 2 n'est pas non plus une réponse à cette question ; il me dit que vos contrôles existent, pas ce que votre modèle a fait sur mes données. Je veux savoir quel artefact concret atterrit sur mon bureau quand je dois démontrer mon raisonnement. Si le seul artefact est l'assurance du fournisseur que tout allait bien, je défends votre parole, pas une preuve.
Votre registre de ce que le modèle a fait est-il quelque chose que je pourrais vérifier de façon indépendante, ou dois-je faire confiance à votre copie ? C'est celle à laquelle la plupart des fournisseurs n'ont pas réfléchi. Si le seul registre de ce qui s'est passé est celui que le fournisseur conserve et peut modifier, alors lors d'un audit je demande à un régulateur de faire confiance à un journal écrit par la partie qui a le plus de raisons de l'écrire à son avantage. Un registre vérifiable de façon indépendante est une tout autre catégorie de chose, et cette différence est tout l'enjeu.
Inscrirez-vous au contrat, par écrit, les droits d'audit, l'accès à la documentation du modèle et la coopération avec le régulateur ? La bonne volonté n'est pas une clause. Si un fournisseur est prêt à coopérer avec un examinateur, il devrait être prêt à l'écrire. La conversation pour ajouter ces termes prend des mois, et l'échéancier d'un examinateur ne s'arrête pas pendant que mon équipe juridique négocie. Je préfère donc avoir la conversation inconfortable avant de signer plutôt que de découvrir l'écart quand une enquête est déjà sur mon bureau.
Ce que j'ai appris en posant ces questions, c'est que les réponses trient les fournisseurs très vite. Les bons s'engagent sur la question 3 et comprennent immédiatement pourquoi « faites confiance à notre journal » n'est pas la même chose que « voici la preuve ». Ceux qui se mettent sur la défensive, ou qui me ramènent sans cesse à leurs résultats de précision, me disent eux aussi quelque chose d'utile.
Pas besoin d'être technique pour bien le faire
Rien de tout cela ne m'oblige à lire le code du modèle. C'est la partie que je veux faire entendre aux autres opérateurs. Vous n'avez pas besoin d'être technique pour bien faire cette partie de la diligence. Vous devez connaître la différence entre une affirmation et une preuve, et être prêt à faire inscrire la preuve au contrat par le fournisseur. C'est une compétence d'opérations, pas d'ingénierie, et en ce moment c'est l'une des choses les plus précieuses qu'un responsable de la conformité ou de l'approvisionnement puisse apporter.
Si vous n'en adoptez qu'une seule, que ce soit la question 3. Tout le reste en découle.