Capire i modelli
Cosa rende diversi i modelli.
Le parole, i numeri e i punteggi che incontri nel catalogo, spiegati una volta, con parole semplici.
Le basi
Cinque idee spiegano gran parte di ciò che distingue un modello di testo da un altro.
Token
I modelli leggono e scrivono in token, pezzi di parole. In inglese un token vale circa tre quarti di parola; il francese ne usa qualcuno in più per parola. I prezzi del testo si contano per milione di token.
Questo catalogo lo rende concreto: crediti per pagina scritta, considerando una pagina di circa 500 parole.
Finestra di contesto
Tutto ciò che un modello può tenere a mente in una volta: la tua domanda, la conversazione fin qui, le note o i file che Sub Rosa gli passa e la sua stessa risposta. Oltre il limite, la parte più vecchia viene persa.
128.000 token sono circa 180 pagine; un milione, circa 1.400. Una finestra più grande aiuta con i documenti lunghi, ma non rende un modello più intelligente.
Ragionamento
Alcuni modelli riflettono prima di rispondere: scrivono una bozza nascosta, la controllano, poi rispondono. Costa tempo e token, e ripaga in matematica, pianificazione, codice e in tutto ciò che richiede più passaggi.
Molti permettono di regolare lo sforzo. Per una riformulazione veloce basta uno sforzo basso; per un problema difficile, uno sforzo alto vale l’attesa.
Chiamata di strumenti
La capacità di chiedere a Sub Rosa di fare qualcosa invece di scrivere soltanto testo: cercare nelle tue note, leggere un file, cercare sul web, creare un’immagine. L’agente di Sub Rosa si basa su questo.
Un modello senza chiamata degli strumenti può conversare, ma l'agente non può lavorarci. Ogni pagina di famiglia indica quali versioni ce l'hanno.
Modelli multimodali
Un modello che legge più del testo: foto, screenshot, pagine scansionate, a volte audio o video. Sub Rosa passa a uno di questi quando alleghi un'immagine.
Sotto il cofano
Cosa significano le schede tecniche, e perché due modelli della stessa dimensione possono comportarsi in modo molto diverso.
Parametri
I numeri che un modello ha imparato durante l’addestramento, contati in miliardi (Mld) o migliaia di miliardi (in inglese «T»). Più parametri possono contenere più conoscenze, ma la qualità dell’addestramento conta quanto le dimensioni.
Mixture of experts e parametri attivi
Molti modelli recenti sono divisi in esperti, e solo pochi esperti lavorano su ogni token. Un modello indicato con 1.000 Mld di parametri in totale e 32 Mld attivi ha le conoscenze di un modello molto grande e più o meno la velocità e il costo di uno da 32 Mld.
Pesi aperti
Il produttore pubblica il modello stesso, quindi chiunque può farlo girare sulle proprie macchine. Per questo i modelli aperti possono essere serviti in modalità privata da un fornitore che non conserva nulla; i modelli chiusi girano solo presso il loro produttore.
La licenza dice cosa puoi fare con i pesi. MIT e Apache 2.0 permettono quasi tutto, uso commerciale compreso.
Privato, anonimizzato, E2EE
Privato: il fornitore che fa girare il modello non conserva nulla della tua richiesta dopo aver risposto. Anonimizzato: la tua richiesta arriva ai server del produttore del modello senza nulla che dica chi sei, e al suo contenuto si applicano le regole di conservazione del produttore.
Le versioni E2EE sono indicate dal loro fornitore come cifrate end-to-end. È la politica dichiarata del fornitore, non qualcosa che Sub Rosa verifica, e di solito queste versioni non possono chiamare strumenti.
Crediti e prezzi
Un credito vale un centesimo di dollaro USA. Il testo si paga a token, le immagini a immagine, il video al secondo, la voce a carattere, la trascrizione al minuto di audio. L’app mostra il prezzo esatto prima di qualsiasi addebito.
Leggere un benchmark
I punteggi aiutano a confrontare, purché tu sappia cosa misurano e chi li ha misurati.
Cosa dice un benchmark, e cosa non dice
Un benchmark sottopone ogni modello allo stesso test. È il modo più equo per confrontarli, ma misura una cosa in un giorno preciso: un modello in testa nel codice può restare indietro nella scrittura, e il vero test resta il tuo compito.
Ogni punteggio di questo catalogo indica chi l'ha misurato e quando. Le piccole differenze contano raramente nella pratica.
Intelligence Index
Artificial Analysis sottopone ogni modello di testo, allo stesso modo, a una decina di test di ragionamento, conoscenza, matematica, codice e lavoro da agente, e ne fa la media in un unico punteggio su 100.
Due o tre punti di distacco sono un testa a testa. Dieci punti di distacco sono un’altra classe di modello.
Arene e punteggi Elo
Per immagini, video e voci non c'è una risposta giusta da verificare, quindi le arene chiedono alle persone. Due risultati della stessa richiesta vengono mostrati fianco a fianco senza i nomi dei modelli, e chi vota ne sceglie uno. Migliaia di duelli danno a ogni modello un punteggio Elo, come negli scacchi.
Conta solo la distanza: con 100 punti di scarto, il modello meglio classificato vince circa il 64% dei duelli. Per questo il catalogo mostra l’Elo come punti su un asse invece che come barre da zero.
Il 50% sarebbe come tirare a testa o croce.
Tasso di errore sulle parole
Per la trascrizione: la quota di parole che il modello perde, aggiunge o sbaglia. Più è basso, meglio è. Al 5%, una parola su venti va corretta; sotto il 3%, una trascrizione si legge quasi pulita. Accenti, rumore e voci sovrapposte lo fanno salire per tutti i modelli.
Indipendente o dichiarato dal produttore
I punteggi indipendenti vengono da una terza parte che testa ogni modello allo stesso modo. Al lancio, anche i produttori pubblicano i propri numeri, con le proprie impostazioni. Il catalogo tiene separate le due cose e segnala il secondo tipo.
Immagini, video e audio
Le parole che ricorrono quando crei immagini, clip, voci e musica.
Testo nelle immagini
Disegnare lettere leggibili è difficile per i modelli di immagine: molti sbagliano ancora l'ortografia di insegne ed etichette. Le famiglie che ci riescono bene lo dicono, e conta per poster, menu, confezioni e slide.
Modifica e ritocco
Una modifica cambia un'immagine a partire da un'istruzione: il modello può ridisegnarne gran parte. Un ritocco cambia solo la zona che dipingi e mantiene ogni altro pixel. Sub Rosa offre entrambi, in schede separate.
Testo, immagine o riferimenti in video
Il testo in video parte da una descrizione. L’immagine in video anima un’immagine che fornisci tu, mantenendone l’aspetto. I riferimenti in video prendono più immagini di un personaggio o di un prodotto e li mantengono coerenti da una clip all’altra.
Audio nativo e sincronizzazione labiale
I modelli video recenti generano la colonna sonora insieme all’immagine: voci, effetti, ambiente. Sincronizzazione labiale significa che le bocche corrispondono alle parole, a volte in più lingue. Senza audio nativo, una clip è muta e l’audio lo aggiungi dopo.
Multi-inquadratura e controllo del movimento
I modelli multi-inquadratura passano da un’inquadratura all’altra dentro una sola clip quando il prompt le descrive. Il controllo del movimento copia sul tuo personaggio il movimento di una clip che fornisci tu.
Voci, testi e licenze
I modelli vocali espressivi seguono tag come [whispers] o [laughs] scritti nel testo. I modelli musicali differiscono sui testi: alcuni li richiedono, altri li rifiutano. I modelli addestrati su cataloghi con licenza sono la scelta più sicura per tutto ciò che pubblichi.