AI locale
Cosa può far girare il tuo computer?
Il motore locale di Convira tiene il modello sul tuo computer. Quali modelli ci stanno lo decide una cosa sola: la tua memoria. Dicci qual è il tuo computer e questa pagina fa lo stesso calcolo che fa l'app.
Dicci qual è il tuo computer
Tre strade. Ognuna porta alla stessa risposta.
Il controllo avviene nel tuo browser. Niente sul tuo computer viene inviato a noi.
31 modelli locali · 64.000 token di memoria di conversazione, sempre
Tutti i modelli locali, per la memoria che chiedono
Ordinati per la memoria che ogni modello chiede per tenere una conversazione da 64.000 token.
- Una linea cade qui, sul budget di memoria del tuo computer.
5,2 GB il modello locale più piccolo, Qwen 3.5 4B, a 64.000 token
Memoria
Perché è la memoria a decidere cosa puoi far girare.
Tutto quello che un modello ha imparato deve stare nella memoria del tuo computer per tutto il tempo in cui lavora, accanto alla conversazione che sta tenendo. Quello che entra in quella quota è quello che puoi far girare.
La quota che il tuo computer gli lascia
Su un Mac, Convira dà al modello il 65 per cento della tua memoria e tiene il resto per il sistema operativo. Su un PC con scheda grafica dà al modello il 65 per cento della scheda più circa un quinto della memoria di sistema, e ti dice quando una parte del modello gira sul processore.
I miliardi non dicono quasi niente
In questo elenco, un modello da 14 miliardi di parametri ha bisogno di 21 GB prima di partire. Un modello da 29.6 miliardi di parametri ne chiede 20 GB. La differenza sta in come il modello tiene una conversazione, non in quanto è grande. Per questo questa pagina è un elenco di gigabyte e non un elenco di miliardi, e per questo calcoliamo la risposta invece di stampare una tabella.
Il minimo, e cosa resta sotto
Ogni esecuzione riceve almeno 64.000 token di memoria di conversazione, quindi un modello conta come adatto solo quando accanto resta spazio per la conversazione. Quando con questo calcolo niente dell'elenco ci sta, Convira consiglia il motore cloud e ti dice perché.
È un consiglio, non un verdetto. Puoi comunque far girare un modello su quel computer dall'app, e l'app te lo permetterà. Questa pagina controlla la memoria, non lo spazio libero; l'app controlla entrambi, quindi può rifiutare un modello che questa pagina aveva consentito se il download non ci sta.
Private Box
Più di quanto contiene un solo computer.
Una Private Box è il server del tuo team. Fa girare lo stesso elenco di un computer da tavolo, con più memoria dietro.
Un normale server potente
Una macchina che resta accesa, senza bisogno di scheda grafica, fa girare lo stesso elenco di un computer da tavolo, solo con più memoria: la classe da 80 miliardi a 128 miliardi di parametri su una macchina da 128 GB a 256 GB.
I modelli di frontiera
Questi hanno bisogno di un server con due o più schede grafiche da datacenter, e i loro download vanno da 242 GB a 756 GB. Questa è la forma onesta della cosa, ed è il motivo per cui questa pagina si ferma a quello che contiene un solo computer.
Domande
Quello che ci chiedono subito dopo.
Le risposte a quasi tutti i messaggi che riceviamo sull'hardware.
Un numero più alto di miliardi chiede sempre più memoria?
No, ed è la parte che quasi tutti sbagliano. Il numero di parametri di un modello ti dice quanto è grande, non quanta memoria gli serve per tenere una conversazione, e in questo elenco un modello più piccolo a volte chiede più memoria di uno molto più grande. Per questo la pagina calcola la risposta per il tuo computer invece di ordinare i modelli per nome.
Mi serve una scheda grafica?
No. Senza scheda il modello gira sul processore. Una richiesta lunga aspetta minuti invece di secondi prima della prima parola, e Convira è fatto per aspettare invece di arrendersi. Nemmeno due schede si sommano qui: Convira carica il modello su una sola scheda, quindi una seconda scheda non alza quello che ci sta.
E se il mio computer non è nell'elenco?
Scegli invece la tua grafica e la tua memoria. Qualsiasi computer con la stessa grafica e la stessa memoria ottiene la stessa risposta. Puoi anche inserire i componenti da solo, e le due strade finiscono in una risposta vera e non in una scrollata di spalle.
Convira non si installa sul mio computer. E adesso?
Convira si installa sui Mac con Apple Silicon da macOS 12 Monterey in su, su Windows 10 e 11 con processore x64, e su Ubuntu 22.04 o successivo, Debian 12 o successivo e Fedora 38 o successivo su x86_64. Su tutto il resto non esiste una versione da eseguire, quindi questa pagina non dà alcuna risposta sui modelli.
E se questa pagina consiglia il cloud per il mio computer?
Allora il motore cloud è la scelta migliore su quel computer, e puoi comunque farci girare un modello. L'app offre il motore locale in ogni caso, perché questa pagina parte dalla memoria con cui il tuo computer è venduto e l'app parte dalla macchina che ha davanti. Il consiglio è un consiglio, non un blocco.
Quanto disco occupano i modelli?
Da circa 3 GB a circa 76 GB. L'app mostra la dimensione prima di scaricare. Da una pagina web non possiamo vedere il tuo spazio libero, quindi l'app può ancora rifiutare un modello che questa pagina aveva consentito.
Convira misura quanto è veloce il mio computer?
No. Pubblichiamo se un modello ci sta. Non pubblichiamo token al secondo, perché non abbiamo misurato il tuo computer, e un numero che non abbiamo misurato non vale la pena di essere stampato.
Uno stesso modello può chiedere due quantità di memoria molto diverse?
Sì. Alcuni modelli esistono in più di una versione, e le versioni tengono una conversazione in modo diverso, quindi una versione può chiedere diverse volte la memoria di un'altra per lo stesso modello. L'app offre la versione che il tuo computer riesce a contenere, e questa pagina mostra quella e non la media delle due.
Perché un modello chiede più memoria del suo download?
Perché il download è solo quello che il modello ha imparato. In memoria tiene quello più la conversazione su cui sta lavorando, e la cifra della memoria conta entrambe. Il modello più piccolo di questo elenco scarica 3.1 GB e chiede 5.2 GB di memoria.
Da dove vengono questi numeri?
Dallo stesso elenco che usa l'app. La pagina contiene la dimensione del download di ogni modello e la memoria che prende la sua conversazione, e calcola ogni cifra da queste due, quindi non c'è una seconda tabella che possa invecchiare. Le fonti di ogni chip e di ogni scheda sono pubblicate accanto ai dati.