Je ne suis pas l'ingénieure. Je suis celle qui doit le défendre.
Les personnes qui décident réellement de l'achat d'un outil d'IA dans la plupart des entreprises me ressemblent davantage qu'elles ne ressemblent à celles qui le présentent. L'industrie ne l'a pas encore tout à fait remarqué.
Je suis la première employée d'une startup de technologie de pointe. Je ne suis pas ingénieure. Ma formation est en finance et en gestion, et mon travail porte sur les opérations, la conformité et les volets de l'entreprise qui doivent résister à un examen externe.
La démo et l'audit ne sont pas la même réunion
Chaque démo de fournisseur d'IA à laquelle j'ai assisté était impressionnante. Le modèle répond à la question. Le résultat est soigné. Les chiffres de précision sont concurrentiels et les références se vérifient.
Puis la réunion se termine et je retourne à mon vrai travail, qui consiste à m'assurer que dans six mois, quand un auditeur ou l'équipe d'approvisionnement d'un client nous posera une question précise, nous aurons une réponse qui tiendra.
Je n'ai pas encore rencontré de fournisseur d'IA qui ait une vraie réponse.
Ce que je peux et ne peux pas vérifier
Si j'achète une base de données, je peux la tester. Si j'achète un processeur de paiement, chaque transaction a un reçu. Si j'achète du stockage infonuagique, je peux calculer la somme de contrôle de ce qui entre et de ce qui sort, et savoir qu'elles correspondent.
L'inférence IA est différente. Le modèle s'exécute sur le matériel de quelqu'un d'autre. Le résultat est un paragraphe de texte ou une suite de chiffres. Il n'existe aucune somme de contrôle qui me dise si la version du modèle que nous avons évaluée le trimestre dernier est la version qui a produit la réponse d'aujourd'hui. Il n'y a pas de reçu. La parole du fournisseur est le seul artefact.
Pendant la majeure partie de la dernière décennie, c'était acceptable, parce que les conséquences d'une erreur étaient minimes. Cela change dans chaque marché que nous observons. Les régulateurs financiers publient des lignes directrices sur le risque lié aux modèles d'IA. Les commissaires aux assurances auditent les décisions automatisées. Les régimes de santé sont poursuivis pour des refus algorithmiques. Les outils de recrutement font face à des recours collectifs en vertu du droit sur le crédit équitable. Les détails varient selon les juridictions, mais la direction est partout la même.
Quand cette question finira par atterrir sur un bureau, ce ne sera pas sur celui de l'ingénieur. Ce sera sur le mien.
Les questions que je pose maintenant aux fournisseurs
J'ai appris quelles questions séparent les fournisseurs qui ont réfléchi à cela de ceux qui ne l'ont pas fait.
Le modèle qui a produit un résultat donné peut-il être identifié de façon cryptographique, et pas seulement nommé dans un contrat. L'environnement d'exécution est-il le même à chaque exécution ou peut-il dériver. Le fournisseur vérifie-t-il ses propres résultats, ou un tiers est-il impliqué. Qu'est-ce qui est conservé, qui le contrôle, et combien de temps cela survit-il.
Les réponses honnêtes, presque universellement, se résument à : nous journalisons la requête et la réponse, nous contrôlons les journaux, et il n'y a aucune vérification indépendante parce que c'est nous qui exécutons le modèle. Cette position va devenir plus difficile à défendre à chaque trimestre désormais.
Cela devient un problème d'opérations
Je pense que toute cette catégorie de risque a été mal classée comme un enjeu technique, ce qui explique pourquoi si peu d'entreprises s'y sont attaquées. On la confie à l'ingénierie, comme on confie à l'ingénierie la disponibilité et la latence. Mais ce n'est pas un problème technique au sens de l'ingénierie. C'est un problème de vérifiabilité au sens de l'approvisionnement, et il se situe carrément du côté des opérations dans l'organigramme.
Les fournisseurs qui remporteront la prochaine ronde d'approvisionnement en IA d'entreprise seront ceux dont la réponse à « prouvez-le » est quelque chose de plus que leurs propres journaux. Les entreprises qui réussiront cela tôt auront l'air, dans deux ans, d'avoir fait preuve de clairvoyance. Ce n'était pas le cas. Elles ont simplement écouté les personnes de leur organisation qui savaient déjà que la question s'en venait.
Je suis l'une de ces personnes. J'écris parce que je sais qu'il y en a d'autres.