Ce que les tests ne mesurent pas
Les cinq critères absents des comparatifs
1. Où vont vos données
La question n'est pas seulement la localisation du serveur. C'est de savoir si vos saisies servent à entraîner le modèle, et pendant combien de temps elles sont conservées. Les conditions diffèrent entre l'offre grand public et l'offre professionnelle du même éditeur, et c'est cette différence qui compte.
S'y ajoute l'hébergement, que les comparatifs de performance ignorent presque toujours. La CNIL considère qu'il est généralement plus opportun et plus sécurisé de privilégier le déploiement de solutions sur site quand les données traitées le justifient, parce que cela limite le risque d'extraction. Et lorsque l'infrastructure du fournisseur se trouve hors de l'Union européenne, elle rappelle que l'entité utilisatrice doit en complément encadrer le traitement par son destinataire.
Pour une PME, la conséquence est simple. Un modèle hébergé en Europe ne dispense pas de lire le contrat, mais il raccourcit la liste des garanties à obtenir. Et un modèle excellent au classement dont les conditions ne conviennent pas à vos données n'est pas un candidat, quel que soit son rang. C'est le seul critère de cette page qui peut éliminer un modèle à lui seul. Source : les questions et réponses de la CNIL sur l'utilisation d'un système d'IA générative. Les obligations qui pèsent sur votre entreprise quand elle déploie un de ces outils sont détaillées sur notre page consacrée aux PME et à l'AI Act.
2. La latence acceptable pour l'usage
Un modèle qui répond en quarante secondes est excellent pour une note de synthèse et inutilisable dans un échange avec un client au téléphone. Aucun classement ne mesure cela, parce que la réponse dépend de l'usage, pas du modèle.
3. Le coût de sortie
Ce que vous payez pour partir, pas pour rester. Les invites écrites pour un modèle ne se transposent pas telles quelles, les intégrations sont à refaire, les équipes à reformer. Ce coût est invisible tant qu'on ne change pas, et il décide de tout le jour où l'on veut changer.
4. La disponibilité et les quotas
Un modèle en accès limité ou soumis à des quotas serrés ne tient pas un usage quotidien. C'est ce qui distingue une démonstration réussie d'un outil sur lequel une équipe peut compter.
5. Qui répond, juridiquement, du traitement
Aucun comparatif ne le mentionne, et c'est pourtant ce qui vous engage. La CNIL indique que la qualification d'un fournisseur de système d'IA doit faire l'objet d'une analyse au cas par cas : il peut être responsable de traitement, notamment quand il constitue lui-même la base d'apprentissage pour son propre compte, ou sous-traitant quand il développe le système pour le compte d'un client selon ses instructions documentées.
Pour une PME, deux conséquences pratiques. D'abord, si c'est vous qui déterminez la finalité et les moyens du traitement, vous êtes responsable de traitement, quel que soit le modèle retenu : le choix de l'éditeur ne transfère pas cette responsabilité. Ensuite, quand le fournisseur agit en sous-traitant, le cadre passe par un contrat qui limite son traitement à vos instructions, et c'est à vous de vous assurer qu'il le respecte. Ce critère ne départage pas les modèles sur leur qualité, il départage les offres sur ce qu'elles vous font porter. Source : CNIL, déterminer la qualification juridique des fournisseurs de systèmes d'IA.