Entender los modelos

Qué hace diferentes a los modelos.

Las palabras, cifras y puntuaciones que encuentras en el catálogo, explicadas una vez y con claridad.

Lo básico

Cinco ideas explican la mayor parte de lo que separa un modelo de texto de otro.

Tokens

Los modelos leen y escriben en tokens, trozos de palabras. En inglés, un token equivale a unas tres cuartas partes de una palabra; el francés usa algunos más por palabra. Los precios del texto se cuentan por millón de tokens.

Este catálogo lo traduce a algo que puedas imaginar: créditos por página escrita, con una página de unas 500 palabras.

Ventana de contexto

Todo lo que un modelo puede tener presente a la vez: tu pregunta, la conversación hasta ese momento, las notas o archivos que Sub Rosa le pasa y su propia respuesta. Pasado el límite, lo más antiguo se pierde.

128 mil tokens son unas 180 páginas; un millón, unas 1400. Una ventana más grande ayuda con documentos largos, pero no hace más inteligente a un modelo.

Cuánto cabe en una ventanaEn tokens, a la misma escala
  1. Una nota larga (10 páginas)7000
  2. Una novela (unas 300 páginas)210.000
  3. Ventana de 128K128.000
  4. Ventana de 1M1.000.000

Razonamiento

Algunos modelos piensan antes de responder: escriben un borrador oculto, lo revisan y luego contestan. Cuesta tiempo y tokens, y compensa en matemáticas, planificación, código y todo lo que tenga varios pasos.

Muchos permiten ajustar el esfuerzo. Para una reformulación rápida basta con poco esfuerzo; para un problema difícil, un esfuerzo alto vale la espera.

Llamada a herramientas

La capacidad de pedirle a Sub Rosa que haga algo en lugar de solo escribir texto: buscar en tus notas, leer un archivo, buscar en la web, crear una imagen. El agente de Sub Rosa se basa en ella.

Un modelo sin llamada a herramientas puede conversar, pero el agente no puede trabajar con él. Cada ficha de familia indica qué versiones la tienen.

Modelos multimodales

Un modelo que lee más que texto: fotos, capturas de pantalla, páginas escaneadas y, a veces, audio o video. Sub Rosa cambia a uno de ellos cuando adjuntas una imagen.

Bajo el capó

Qué significan las tablas de especificaciones y por qué dos modelos del mismo tamaño pueden comportarse de forma muy distinta.

Parámetros

Los números que un modelo aprendió durante el entrenamiento, contados en miles de millones (en inglés «B») o en billones (en inglés «T»). Más parámetros pueden contener más conocimiento, pero la calidad del entrenamiento importa tanto como el tamaño.

Mezcla de expertos y parámetros activos

Muchos modelos recientes se dividen en expertos, y solo unos pocos expertos trabajan en cada token. Un modelo anunciado con 1 billón de parámetros en total y 32 mil millones activos tiene el conocimiento de un modelo muy grande y aproximadamente la velocidad y el costo de uno de 32 mil millones.

Todos los expertos guardan conocimiento; solo los pocos elegidos para cada token hacen el trabajo.

Pesos abiertos

El fabricante publica el propio modelo, así que cualquiera puede ejecutarlo en sus propias máquinas. Por eso los modelos abiertos pueden servirse en modo privado a través de un proveedor que no guarda nada; los modelos cerrados solo funcionan en los servidores de su fabricante.

La licencia dice qué puedes hacer con los pesos. MIT y Apache 2.0 permiten casi todo, incluido el uso comercial.

Privado, anonimizado, E2EE

Privado: el proveedor que ejecuta el modelo no guarda nada de tu solicitud una vez que ha respondido. Anonimizado: tu solicitud llega a los servidores del fabricante del modelo sin nada que diga quién eres, y al contenido se le aplican las propias reglas de conservación del fabricante.

Las versiones E2EE aparecen como cifradas de extremo a extremo según su proveedor. Es la política declarada del proveedor, no algo que Sub Rosa verifique, y estas versiones normalmente no pueden llamar a herramientas.

Créditos y precios

Un crédito es un centavo de dólar estadounidense. El texto se cobra por token, las imágenes por imagen, el video por segundo, la voz por carácter y la transcripción por minuto de audio. La app muestra el precio exacto antes de cobrar nada.

Leer un benchmark

Las puntuaciones te ayudan a comparar, siempre que sepas qué miden y quién las midió.

Lo que te dice un benchmark, y lo que no

Un benchmark somete a todos los modelos a la misma prueba. Es la forma más justa de comparar, pero mide una sola cosa en un solo día: un modelo que lidera en código puede quedarse atrás en redacción, y tu propia tarea es la prueba real.

Cada puntuación de este catálogo indica quién la midió y cuándo. Las diferencias pequeñas rara vez importan en la práctica.

Intelligence Index

Artificial Analysis pasa una decena de pruebas de razonamiento, conocimiento, matemáticas, código y trabajo de agente a cada modelo de texto, de la misma manera, y las promedia en una sola puntuación sobre 100.

Dos o tres puntos de diferencia es un resultado ajustado. Diez puntos de diferencia es otra clase de modelo.

Arenas y puntuaciones Elo

Para imágenes, video y voces no hay una respuesta correcta que comprobar, así que las arenas preguntan a la gente. Se muestran lado a lado dos resultados de la misma petición sin el nombre de los modelos, y quien vota elige uno. Miles de duelos dan a cada modelo una puntuación Elo, como en el ajedrez.

Solo importa la diferencia: con 100 puntos de distancia, el modelo mejor clasificado gana cerca del 64 % de los duelos. Por eso el catálogo muestra el Elo como puntos sobre un eje y no como barras desde cero.

Qué significa una diferencia de EloPorcentaje de duelos que gana el modelo mejor clasificado
  1. 25 puntos de diferencia54 %
  2. 50 puntos de diferencia57 %
  3. 100 puntos de diferencia64 %
  4. 200 puntos de diferencia76 %
  5. 300 puntos de diferencia85 %

50 % sería lanzar una moneda al aire.

Tasa de error de palabras

Para la transcripción: la proporción de palabras que el modelo omite, añade o escribe mal. Cuanto más baja, mejor. Con un 5 %, hay que corregir una palabra de cada veinte; por debajo del 3 %, la transcripción se lee casi limpia. Los acentos, el ruido y las voces superpuestas la suben en todos los modelos.

Independiente o anunciado por el fabricante

Las puntuaciones independientes vienen de un tercero que prueba todos los modelos de la misma forma. Los fabricantes también publican sus propias cifras en el lanzamiento, con su propia configuración. El catálogo mantiene ambas separadas y señala las segundas.

Imágenes, video y sonido

Las palabras que aparecen cuando haces imágenes, clips, voces y música.

Texto en imágenes

Dibujar letras legibles es difícil para los modelos de imagen: muchos todavía escriben mal letreros y etiquetas. Las familias que lo hacen bien lo indican, y eso importa para carteles, menús, envases y diapositivas.

Edición y retoque

Una edición cambia una imagen a partir de una instrucción: el modelo puede redibujar buena parte de ella. Un retoque cambia solo la zona que pintas y conserva todos los demás píxeles. Sub Rosa ofrece ambas cosas, en pestañas separadas.

De texto, imagen o referencias a video

De texto a video parte de una descripción. De imagen a video anima una imagen que tú das, y conserva su aspecto. De referencias a video toma varias imágenes de un personaje o producto y los mantiene coherentes de un clip a otro.

Sonido nativo y sincronización labial

Los modelos de video recientes generan la banda sonora con la imagen: voces, efectos, ambiente. La sincronización labial hace que las bocas coincidan con las palabras, a veces en varios idiomas. Sin sonido nativo, el clip es mudo y añades el sonido después.

Varios planos y control de movimiento

Los modelos de varios planos cortan entre varios planos dentro de un mismo clip cuando el prompt los describe. El control de movimiento copia en tu personaje el movimiento de un clip que tú aportas.

Voces, letras y licencias

Los modelos de voz expresivos siguen etiquetas como [whispers] o [laughs] escritas en el texto. Los modelos de música difieren en cuanto a la letra: algunos la exigen y otros la rechazan. Los modelos entrenados con catálogos bajo licencia son la opción más segura para todo lo que publiques.