Entendendo os modelos
O que torna os modelos diferentes.
As palavras, números e pontuações que você encontra pelo catálogo, explicados uma vez, de forma simples.
O básico
Cinco ideias explicam a maior parte do que separa um modelo de texto de outro.
Tokens
Os modelos leem e escrevem em tokens, pedaços de palavras. Em inglês, um token vale cerca de três quartos de uma palavra; o francês usa um pouco mais por palavra. Os preços de texto são contados por milhão de tokens.
Este catálogo transforma isso em algo que dá para imaginar: créditos por página escrita, com uma página de cerca de 500 palavras.
Janela de contexto
Tudo o que um modelo consegue ter em mente de uma vez: sua pergunta, a conversa até ali, as notas ou arquivos que o Sub Rosa entrega a ele e a própria resposta dele. Passado o limite, a parte mais antiga fica de fora.
128 mil tokens são cerca de 180 páginas; um milhão, cerca de 1.400. Uma janela maior ajuda com documentos longos, mas não deixa um modelo mais inteligente.
Raciocínio
Alguns modelos pensam antes de responder: escrevem um rascunho oculto, conferem e depois respondem. Isso custa tempo e tokens, e compensa em matemática, planejamento, programação e tudo o que tem várias etapas.
Muitos deixam você ajustar o esforço. Para uma reescrita rápida, esforço baixo basta; para um problema difícil, esforço alto vale a espera.
Chamada de ferramentas
A capacidade de pedir ao Sub Rosa que faça algo em vez de só escrever texto: buscar nas suas notas, ler um arquivo, pesquisar na web, criar uma imagem. O agente do Sub Rosa é construído sobre isso.
Um modelo sem chamada de ferramentas consegue conversar, mas o agente não consegue trabalhar com ele. Cada página de família diz quais versões têm esse recurso.
Modelos multimodais
Um modelo que lê mais do que texto: fotos, capturas de tela, páginas digitalizadas e, às vezes, áudio ou vídeo. O Sub Rosa muda para um deles quando você anexa uma imagem.
Por dentro
O que significam as tabelas de especificações e por que dois modelos do mesmo tamanho podem se comportar de jeitos muito diferentes.
Parâmetros
Os números que um modelo aprendeu durante o treinamento, contados em bilhões (bi) ou trilhões (tri). Mais parâmetros podem guardar mais conhecimento, mas a qualidade do treinamento importa tanto quanto o tamanho.
Mistura de especialistas e parâmetros ativos
Muitos modelos recentes são divididos em especialistas, e só alguns deles trabalham em cada token. Um modelo anunciado com 1 tri de parâmetros no total e 32 bi ativos tem o conhecimento de um modelo muito grande e mais ou menos a velocidade e o custo de um de 32 bi.
Pesos abertos
O fabricante publica o próprio modelo, então qualquer pessoa pode rodá-lo nas próprias máquinas. É por isso que modelos abertos podem ser servidos no modo privado por um provedor que não guarda nada; modelos fechados só rodam no fabricante.
A licença diz o que você pode fazer com os pesos. MIT e Apache 2.0 permitem quase tudo, inclusive uso comercial.
Privado, anonimizado, E2EE
Privado: o provedor que roda o modelo não guarda nada do seu pedido depois de responder. Anonimizado: seu pedido chega aos servidores do fabricante do modelo sem nada que diga quem você é, e as regras de retenção do próprio fabricante se aplicam ao conteúdo.
As versões E2EE são apresentadas pelo provedor como criptografadas de ponta a ponta. Essa é a política declarada do provedor, não algo que o Sub Rosa verifica, e essas versões normalmente não conseguem chamar ferramentas.
Créditos e preços
Um crédito vale um centavo de dólar americano. Texto é cobrado por token, imagens por imagem, vídeo por segundo, voz por caractere, transcrição por minuto de áudio. O app mostra o preço exato antes de qualquer cobrança.
Ler um benchmark
As pontuações ajudam a comparar, desde que você saiba o que medem e quem mediu.
O que um benchmark diz, e o que ele não diz
Um benchmark faz todos os modelos passarem pelo mesmo teste. É o jeito mais justo de comparar, mas ele mede uma coisa em um dia: um modelo que lidera em código pode ficar para trás na escrita, e a sua própria tarefa é o teste de verdade.
Cada pontuação deste catálogo mostra quem a mediu e quando. Pequenas diferenças raramente importam na prática.
Intelligence Index
A Artificial Analysis aplica uns dez testes de raciocínio, conhecimento, matemática, programação e trabalho de agente a cada modelo de texto, do mesmo jeito, e tira a média em uma única pontuação de 0 a 100.
Dois ou três pontos de diferença é disputa apertada. Dez pontos de diferença é outra classe de modelo.
Arenas e pontuações Elo
Para imagens, vídeo e vozes não existe resposta certa para conferir, então as arenas perguntam às pessoas. Dois resultados do mesmo pedido aparecem lado a lado sem o nome dos modelos, e quem vota escolhe um. Milhares de duelos dão a cada modelo uma pontuação Elo, como no xadrez.
Só a diferença tem significado: com 100 pontos de distância, o modelo mais bem classificado vence cerca de 64% dos duelos. É por isso que o catálogo mostra o Elo como pontos em um eixo, e não como barras a partir do zero.
50% seria cara ou coroa.
Taxa de erro de palavras
Para a transcrição: a proporção de palavras que o modelo deixa de fora, acrescenta ou erra. Quanto menor, melhor. Com 5%, uma palavra em cada vinte precisa de correção; abaixo de 3%, a transcrição sai quase limpa. Sotaques, ruído e falas sobrepostas aumentam esse número em todos os modelos.
Independente ou anunciado pelo fabricante
As pontuações independentes vêm de um terceiro que testa todos os modelos do mesmo jeito. Os fabricantes também publicam os próprios números no lançamento, com as próprias configurações. O catálogo mantém os dois separados e sinaliza o segundo tipo.
Imagens, vídeo e som
As palavras que aparecem quando você faz imagens, clipes, vozes e música.
Texto em imagens
Desenhar letras legíveis é difícil para os modelos de imagem: muitos ainda erram a grafia de placas e rótulos. As famílias que fazem isso bem avisam, e isso faz diferença para pôsteres, cardápios, embalagens e slides.
Edição e retoque
Uma edição muda uma imagem a partir de uma instrução: o modelo pode redesenhar boa parte dela. Um retoque muda só a área que você pinta e mantém todos os outros pixels. O Sub Rosa oferece os dois, em abas separadas.
Texto, imagem ou referências para vídeo
Texto para vídeo parte de uma descrição. Imagem para vídeo anima uma imagem que você fornece, que mantém o visual. Referências para vídeo usa várias imagens de um personagem ou produto e os mantém consistentes de um clipe para outro.
Som nativo e sincronia labial
Modelos de vídeo recentes geram a trilha sonora junto com a imagem: vozes, efeitos, ambiente. Sincronia labial significa que as bocas acompanham as palavras, às vezes em vários idiomas. Sem som nativo, o clipe é mudo e você adiciona o som depois.
Vários planos e controle de movimento
Modelos de vários planos cortam entre vários planos dentro de um mesmo clipe quando o prompt os descreve. O controle de movimento copia para o seu personagem o movimento de um clipe que você fornece.
Vozes, letras e licenças
Os modelos de voz expressivos seguem tags como [whispers] ou [laughs] escritas no texto. Os modelos de música diferem quanto à letra: alguns exigem, outros recusam. Modelos treinados com catálogos licenciados são a escolha mais segura para tudo o que você publica.