Comprendre les modèles

Ce qui rend les modèles différents.

Les mots, chiffres et scores que vous croisez dans le catalogue, expliqués une fois, simplement.

Les bases

Cinq notions expliquent l’essentiel de ce qui sépare un modèle de texte d’un autre.

Jetons

Les modèles lisent et écrivent en jetons, des morceaux de mots. En anglais, un jeton vaut environ trois quarts de mot ; le français en demande un peu plus. Le prix du texte se compte par million de jetons.

Ce catalogue le traduit en quelque chose de concret : des crédits par page rédigée, une page faisant environ 500 mots.

Fenêtre de contexte

Tout ce qu’un modèle peut garder en tête d’un coup : votre question, la conversation, les notes ou fichiers que Sub Rosa lui transmet, et sa propre réponse. Au-delà de la limite, le plus ancien disparaît.

128 000 jetons, c’est environ 180 pages ; un million, environ 1 400. Une grande fenêtre aide pour les longs documents, mais ne rend pas un modèle plus intelligent.

Ce qui tient dans une fenêtreEn jetons, à la même échelle
  1. Une longue note (10 pages)7 000
  2. Un roman (environ 300 pages)210 000
  3. Fenêtre de 128 k128 000
  4. Fenêtre de 1 M1 000 000

Raisonnement

Certains modèles réfléchissent avant de répondre : ils écrivent un brouillon caché, le vérifient, puis répondent. Cela coûte du temps et des jetons, et se révèle payant pour les maths, la planification, le code et tout ce qui comporte plusieurs étapes.

Beaucoup permettent de régler l’effort. Pour une reformulation rapide, un effort faible suffit ; pour un problème difficile, un effort élevé vaut l’attente.

Appel d’outils

La capacité de demander à Sub Rosa de faire quelque chose au lieu de seulement écrire : chercher dans vos notes, lire un fichier, chercher sur le web, créer une image. L’agent de Sub Rosa repose dessus.

Un modèle sans appel d’outils peut discuter, mais l’agent ne peut pas travailler avec lui. Chaque fiche indique quelles versions en disposent.

Modèles multimodaux

Un modèle qui lit plus que du texte : photos, captures d’écran, pages scannées, parfois l’audio ou la vidéo. Sub Rosa bascule sur l’un d’eux quand vous joignez une image.

Sous le capot

Ce que veulent dire les fiches techniques, et pourquoi deux modèles de même taille peuvent se comporter très différemment.

Paramètres

Les nombres qu’un modèle a appris pendant son entraînement, comptés en milliards (Md) ; un billion (en anglais « T ») vaut 1 000 Md. Davantage de paramètres peuvent contenir plus de connaissances, mais la qualité de l’entraînement compte autant que la taille.

Mélange d’experts et paramètres actifs

Beaucoup de modèles récents sont découpés en experts, et seuls quelques-uns travaillent sur chaque jeton. Un modèle annoncé à 1 000 Md de paramètres au total et 32 Md actifs a les connaissances d’un très grand modèle, et à peu près la vitesse et le coût d’un modèle de 32 Md.

Tous les experts détiennent des connaissances ; seuls les quelques-uns choisis pour chaque jeton travaillent.

Poids ouverts

Le fabricant publie le modèle lui-même : tout le monde peut le faire tourner sur ses propres machines. C’est pour cela que les modèles ouverts peuvent être servis en mode privé par un fournisseur qui ne garde rien ; les modèles fermés ne tournent que chez leur fabricant.

La licence dit ce que vous pouvez faire des poids. MIT et Apache 2.0 autorisent presque tout, usage commercial compris.

Privé, anonymisé, E2EE

Privé : le fournisseur qui fait tourner le modèle ne garde rien de votre demande une fois la réponse donnée. Anonymisé : votre demande arrive sur les serveurs du fabricant sans rien qui dise qui vous êtes, et ses propres règles de conservation s’appliquent à son contenu.

Les versions E2EE sont annoncées chiffrées de bout en bout par leur fournisseur. C’est sa politique déclarée, pas une vérification de Sub Rosa, et ces versions ne peuvent en général pas appeler d’outils.

Crédits et prix

Un crédit vaut un centime de dollar. Le texte se paie au jeton, l’image à l’image, la vidéo à la seconde, la voix au caractère, la transcription à la minute d’audio. L’app affiche le prix exact avant toute dépense.

Lire un benchmark

Les scores aident à comparer, à condition de savoir ce qu’ils mesurent et qui les a mesurés.

Ce qu’un benchmark dit, et ce qu’il ne dit pas

Un benchmark fait passer le même test à chaque modèle. C’est la façon la plus juste de comparer, mais il mesure une chose, un jour donné : un modèle en tête en code peut être derrière en rédaction, et votre propre tâche reste le vrai test.

Chaque score de ce catalogue indique qui l’a mesuré et quand. Les petits écarts comptent rarement en pratique.

Intelligence Index

Artificial Analysis fait passer une dizaine de tests de raisonnement, de connaissances, de maths, de code et de travail en agent à chaque modèle de texte, de la même façon, et en calcule la moyenne sur 100.

Deux ou trois points d’écart, c’est serré. Dix points d’écart, c’est une autre classe de modèle.

Arènes et classement Elo

Pour les images, la vidéo et les voix, il n’y a pas de bonne réponse à vérifier : les arènes demandent donc aux gens. Deux résultats de la même demande sont montrés côte à côte sans le nom des modèles, et la personne en choisit un. Des milliers de duels donnent à chaque modèle un classement Elo, comme aux échecs.

Seul l’écart a un sens : à 100 points d’écart, le modèle le mieux classé gagne environ 64 % des duels. C’est pourquoi le catalogue montre l’Elo en points sur un axe plutôt qu’en barres partant de zéro.

Ce que veut dire un écart d’EloPart des duels gagnés par le mieux classé
  1. 25 points d’écart54 %
  2. 50 points d’écart57 %
  3. 100 points d’écart64 %
  4. 200 points d’écart76 %
  5. 300 points d’écart85 %

50 % serait un pile ou face.

Taux d’erreur de mots

Pour la transcription : la part de mots que le modèle oublie, ajoute ou écrit de travers. Plus c’est bas, mieux c’est. À 5 %, un mot sur vingt est à corriger ; sous 3 %, la transcription se lit presque sans retouche. Les accents, le bruit et les voix qui se chevauchent le font monter pour tous les modèles.

Indépendant ou annoncé par le fabricant

Les scores indépendants viennent d’un tiers qui teste chaque modèle de la même façon. Les fabricants publient aussi leurs propres chiffres, avec leurs propres réglages, au lancement. Le catalogue sépare les deux et signale les seconds.

Images, vidéo et son

Les mots qui reviennent quand on fait des images, des plans, des voix et de la musique.

Texte dans l’image

Dessiner des lettres lisibles est difficile pour les modèles d’image : beaucoup écorchent encore panneaux et étiquettes. Les familles qui le font bien l’indiquent, et cela compte pour les affiches, menus, emballages et diapositives.

Édition et retouche

Une édition modifie une image à partir d’une consigne : le modèle peut en redessiner une grande partie. Une retouche ne change que la zone que vous peignez et garde tous les autres pixels. Sub Rosa propose les deux, dans des onglets séparés.

Texte, image ou références vers vidéo

Le texte vers vidéo part d’une description. L’image vers vidéo anime une image que vous fournissez, et conserve son aspect. Le mode références vers vidéo prend plusieurs images d’un personnage ou d’un produit et les garde cohérents d’un plan à l’autre.

Son natif et synchronisation labiale

Les modèles vidéo récents génèrent la bande-son avec l’image : voix, bruitages, ambiance. La synchronisation labiale fait correspondre les bouches aux mots, parfois en plusieurs langues. Sans son natif, le plan est muet et le son s’ajoute ensuite.

Multi-plans et contrôle du mouvement

Les modèles multi-plans enchaînent plusieurs plans dans une même séquence quand le prompt les décrit. Le contrôle du mouvement reporte sur votre personnage le mouvement d’une vidéo que vous fournissez.

Voix, paroles et licences

Les modèles de voix expressifs suivent des balises comme [whispers] ou [laughs] écrites dans le texte. Les modèles de musique diffèrent sur les paroles : certains les exigent, d’autres les refusent. Les modèles entraînés sur des catalogues sous licence sont le choix le plus sûr pour ce que vous publiez.