Calcul moins cher, confiance empruntée
Les arguments économiques pour déplacer l'inférence IA hors des hyperscalers sont évidents. Les implications pour la confiance, beaucoup moins. À mesure que l'inférence migre vers des infrastructures distribuées et non hyperscalers, nous réintroduisons discrètement un problème que l'ère de l'infonuagique nous avait fait oublier : comment savez-vous vraiment que le calcul s'est déroulé comme on vous l'a dit ?
Pendant une décennie, exécuter une charge de travail d'IA signifiait surtout louer une tranche de l'un des quelques hyperscalers. Cela change. Des réseaux de GPU indépendants, des plateformes de calcul distribué et des fournisseurs d'inférence spécialisés détournent de vraies charges de travail des grands acteurs, et pour de bonnes raisons : coût plus bas, plus de souveraineté sur l'endroit où vivent les données et le calcul, meilleure résilience, et accès à une capacité que les acteurs établis ne peuvent pas toujours fournir sur demande.
C'est une correction saine. Concentrer le calcul mondial entre les mains d'une poignée de fournisseurs n'allait jamais être la forme permanente du marché. Mais tout changement d'infrastructure entraîne un effet de second ordre facile à manquer pendant qu'on célèbre le gain de premier ordre. Ici, cet effet de second ordre concerne la confiance.
Ce qui change quand le matériel n'est pas le vôtre
Quand vous exécutez une tâche sur du matériel que vous ne possédez pas et ne pouvez pas inspecter, vous accordez votre confiance à trois choses : que le modèle que vous avez spécifié est bien celui qui s'est exécuté, qu'il s'est exécuté sur l'entrée exacte que vous avez fournie, et que la sortie qu'on vous a remise est le véritable résultat de ce calcul. Sur un hyperscaler, vous accordez cette confiance à une marque et à un contrat. Le fournisseur est une entité connue, dotée d'une réputation et d'une relation juridique, et pour la plupart des usages cela suffit.
Sur un parc distribué de machines tierces, la question devient plus pointue. Qui, précisément, a exécuté votre tâche ? Qu'est-ce qui empêche un nœud de renvoyer une approximation moins coûteuse, une réponse mise en cache et périmée, ou simplement un résultat erroné ? Dans la plupart des conceptions, rien, hormis la même confiance aveugle, désormais étendue à des parties que vous ne pouvez pas nommer. Le calcul est tenu pour correct parce que le système suppose qu'il l'est.
La plupart des charges de travail s'en moquent. Un nombre croissant ne le peut pas.
Pour bon nombre de charges de travail, cette supposition convient. Si vous générez des plongements (embeddings) pour un index de recherche interne ou que vous résumez des documents pour votre propre usage, une rare réponse erronée est un coût tolérable, et les économies en valent la peine. Tout calcul n'a pas besoin d'une trace vérifiable.
Mais il existe une catégorie croissante d'acheteurs pour qui la confiance aveugle n'est pas une option, parce qu'ils doivent répondre de l'exactitude devant quelqu'un d'autre. Une société financière qui rend des comptes à un régulateur. Un fournisseur dont le client d'entreprise exige une preuve de la façon dont une sortie a été produite. Un payeur de soins de santé dont les décisions automatisées sont auditées. Une entreprise dont la sortie d'un modèle pourrait être citée dans un litige ou un dépôt réglementaire. Pour tous, « notre fournisseur de calcul a dit que tout s'est bien déroulé » est une affirmation, pas une preuve. Et à mesure que les décisions automatisées font l'objet d'un examen accru en finance, en assurance, en santé et en embauche, le nombre de gens qui ont besoin de preuves plutôt que de réconfort augmente, il ne diminue pas.
Des preuves, pas des promesses
La solution n'est pas de faire davantage confiance. C'est de cesser d'avoir besoin de confiance pour la partie qui peut être prouvée. La vérification cryptographique vous permet d'exiger une preuve qu'un calcul précis s'est déroulé comme annoncé : un reçu qui lie ensemble un modèle donné, une entrée donnée et une sortie donnée, sous une forme que quiconque le détient peut vérifier de façon indépendante, sans réexécuter toute la tâche et sans avoir à croire le fournisseur sur parole.
Cela transforme l'exactitude d'une promesse en un artefact. Au lieu de « faites-nous confiance », vous disposez d'un reçu que vous pouvez remettre à votre auditeur, à votre régulateur, à votre client ou à vos propres dossiers, et ils peuvent le vérifier eux-mêmes. La confiance que vous placiez autrefois dans le fournisseur est remplacée, pour la partie qui compte, par les mathématiques.
La vérification n'est pas le contraire du calcul distribué
Il serait facile de lire ceci comme un argument contre le calcul distribué. C'est le contraire. La vérification est ce qui rend le calcul distribué utilisable pour le travail qui reste aujourd'hui sur les hyperscalers par prudence. Le calcul fournit la capacité. La vérification fournit la confiance. Ce sont des couches complémentaires, et la seconde est ce qui débloque les marchés réglementés et à enjeux élevés que la première s'efforce d'atteindre.
Les réseaux et les plateformes qui déplacent le calcul hors des grands acteurs ont résolu les problèmes véritablement difficiles de coût, de distribution et d'échelle. La pièce manquante, pour les acheteurs qui en ont besoin, c'est un moyen de prouver que le travail a été fait correctement. Fournissez cela, et toute une catégorie de charges de travail qui ne pouvaient auparavant pas quitter la sécurité d'un nuage de marque le peuvent soudainement.
C'est la couche que nous construisons chez Cyberian : un service de vérification indépendant qui émet un reçu cryptographique pour chaque tâche d'inférence, afin que le résultat porte la preuve qu'il s'est exécuté comme annoncé, où qu'il se soit exécuté.
Si vous déplacez l'inférence vers du calcul que vous ne contrôlez pas entièrement, et que vous devez répondre de son exactitude devant quelqu'un, le moment de penser à la preuve, c'est avant qu'on vous la demande, pas après.