Lokalni AI
Šta vaš računar može da pokrene?
Lokalni mehanizam Convire drži model na vašem sopstvenom računaru. Koji modeli staju odlučuje samo jedna stvar: vaša memorija. Recite nam koji je vaš računar i ova stranica će izvesti isti račun koji izvodi i aplikacija.
Recite nam koji je vaš računar
Tri ulaza. Svaki od njih završava istim odgovorom.
Provera se izvršava u vašem pregledaču. Ništa o vašem računaru nam se ne šalje.
31 lokalnih modela · 64.000 tokena memorije razgovora, uvek
Svi lokalni modeli, po memoriji koja im je potrebna
Poređani po memoriji koja je svakom modelu potrebna da drži razgovor od 64.000 tokena.
- Jedna linija pada ovde, na sopstveni memorijski okvir vašeg računara.
5,2 GB najmanji lokalni model, Qwen 3.5 4B, na 64.000 tokena
Memorija
Zašto memorija odlučuje šta možete da pokrenete.
Sve što je model naučio mora da stoji u memoriji vašeg računara sve vreme dok radi, pored razgovora koji drži. Ono što stane u taj deo je ono što možete da pokrenete.
Deo koji mu vaš računar daje
Na Mac računaru Convira modelu daje 65 odsto vaše memorije, a ostatak zadržava za vaš operativni sistem. Na PC računaru sa grafičkom karticom modelu daje 65 odsto kartice plus oko jedne petine sistemske memorije, i kaže vam kada deo modela radi na procesoru.
Milijarde vam gotovo ništa ne govore
Na ovoj listi modelu sa 14 milijardi parametara potrebno je 21 GB pre nego što se uopšte pokrene. Modelu sa 29.6 milijardi parametara potrebno je 20 GB. Razlika je u tome kako model drži razgovor, a ne u tome koliko je velik. Zato je ova stranica lista gigabajta, a ne lista milijardi, i zato odgovor izračunavamo umesto da štampamo tabelu.
Donja granica, i ono što stoji ispod nje
Svako pokretanje dobija najmanje 64.000 tokena memorije razgovora, pa se model računa kao da staje samo kada pored njega ostaje mesta i za razgovor. Kada po tom računu ništa sa liste ne staje, Convira preporučuje cloud mehanizam i kaže vam zašto.
To je preporuka, a ne presuda. I dalje možete da pokrenete model na tom računaru iz aplikacije, i aplikacija će vam to dozvoliti. Ova stranica proverava memoriju, a ne slobodan prostor; aplikacija proverava oboje, pa može da odbije model koji je ova stranica dozvolila ako preuzimanje ne staje.
Private Box
Više nego što jedan računar može da primi.
Private Box je sopstveni server vašeg tima. Pokreće istu listu koju pokreće i stoni računar, samo sa više memorije za sobom.
Običan snažan server
Mašina koja ostaje uključena, bez obavezne grafičke kartice, pokreće istu listu koju pokreće i stoni računar, samo sa više memorije: klasu od 80 milijardi do 128 milijardi parametara na mašini od 128 GB do 256 GB.
Modeli na granici mogućeg
Njima je potreban server sa dve ili više grafičkih kartica za data centre, a njihova preuzimanja idu od 242 GB do 756 GB. To je iskren oblik stvari, i zato se ova stranica zaustavlja na onome što prima jedan računar.
Pitanja
Ono što nas ljudi pitaju sledeće.
Odgovori na gotovo svaku poruku koju dobijemo o hardveru.
Da li veći broj milijardi uvek zahteva više memorije?
Ne, i tu gotovo svi pogreše. Broj parametara modela govori vam koliko je velik, a ne koliko mu memorije treba da drži razgovor, i na ovoj listi manji model ponekad zahteva više memorije od mnogo većeg. Zato stranica izračunava odgovor za vaš računar umesto da modele sortira po imenu.
Da li mi je potrebna grafička kartica?
Ne. Bez nje model radi na procesoru. Dug zahtev čeka minute, a ne sekunde, do prve reči, a Convira je napravljena da čeka umesto da odustane. Ni dve kartice se ovde ne sabiraju: Convira učitava model na jednu karticu, pa druga kartica ne podiže ono što staje.
Šta ako moj računar nije na listi?
Izaberite umesto toga svoju grafiku i svoju memoriju. Svaki računar sa istom grafikom i istom memorijom dobija isti odgovor. Možete i sami da unesete delove, a oba puta se završavaju stvarnim odgovorom, a ne odmahivanjem rukom.
Convira se ne instalira na moj računar. Šta sada?
Convira se instalira na Mac računare sa Apple Silicon čipom uz macOS 12 Monterey ili noviji, na Windows 10 i 11 sa x64 procesorom, i na Ubuntu 22.04 ili noviji, Debian 12 ili noviji i Fedoru 38 ili noviju na x86_64. Na svemu ostalom nema verzije koja bi radila, pa ova stranica ne daje odgovor o modelima.
Šta ako ova stranica za moj računar preporuči cloud?
Onda je cloud mehanizam bolji izbor na tom računaru, a i dalje možete da na njemu pokrenete model. Aplikacija ionako nudi lokalni mehanizam, jer ova stranica računa sa memorijom sa kojom se vaš računar prodaje, a aplikacija računa sa mašinom koja je pred njom. Preporuka je savet, a ne brava.
Koliko diska zauzimaju modeli?
Od oko 3 GB do oko 76 GB. Aplikacija prikazuje veličinu pre preuzimanja. Vaš slobodan prostor ne možemo da vidimo sa veb stranice, pa aplikacija i dalje može da odbije model koji je ova stranica dozvolila.
Da li Convira meri koliko je moj računar brz?
Ne. Objavljujemo da li model staje. Ne objavljujemo tokene u sekundi, jer vaš računar nismo merili, a broj koji nismo merili ne vredi štampati.
Može li jedan model da zahteva dve veoma različite količine memorije?
Može. Nekoliko modela izlazi u više verzija, a te verzije drže razgovor na različite načine, pa jedna verzija za isti model može da zahteva nekoliko puta više memorije od druge. Aplikacija nudi onu verziju koju vaš računar može da primi, a ova stranica prikazuje nju, a ne prosek te dve.
Zašto modelu treba više memorije nego što je njegovo preuzimanje?
Jer je preuzimanje samo ono što je model naučio. U memoriji on drži to plus razgovor na kojem radi, a broj za memoriju računa oboje. Najmanji model na ovoj listi preuzima 3.1 GB i zahteva 5.2 GB memorije.
Odakle dolaze ovi brojevi?
Sa iste liste koju koristi i aplikacija. Stranica drži veličinu preuzimanja svakog modela i memoriju koju zauzima njegov razgovor, i svaki broj izračunava iz ta dva, pa ne postoji druga tabela koja bi mogla da zastari. Izvori za svaki čip i svaku karticu objavljeni su pored podataka.