AI lokal
Apa yang bisa dijalankan komputer Anda?
Mesin lokal Convira menyimpan model di komputer Anda sendiri. Model mana yang muat ditentukan oleh satu hal saja: memori Anda. Beri tahu kami komputer Anda, dan halaman ini melakukan perhitungan yang sama dengan aplikasi.
Beri tahu kami komputer Anda
Tiga jalan masuk. Mana pun yang dipilih berakhir pada jawaban yang sama.
Pemeriksaan berjalan di peramban Anda. Tidak ada apa pun tentang komputer Anda yang dikirim ke kami.
31 model lokal · 64.000 token memori percakapan, selalu
Semua model lokal, menurut memori yang dibutuhkannya
Diurutkan menurut memori yang dibutuhkan setiap model untuk memegang percakapan 64.000 token.
- Satu garis jatuh di sini, pada batas memori komputer Anda sendiri.
5,2 GB model lokal terkecil, Qwen 3.5 4B, pada 64.000 token
Memori
Mengapa memori yang menentukan apa yang bisa Anda jalankan.
Semua yang sudah dipelajari sebuah model harus berada di memori komputer Anda selama model itu bekerja, berdampingan dengan percakapan yang sedang dipegangnya. Yang muat dalam porsi itulah yang bisa Anda jalankan.
Porsi yang diberikan komputer Anda
Di Mac, Convira memberi model 65 persen memori Anda dan menyisakan sisanya untuk sistem operasi. Di PC dengan kartu grafis, Convira memberi model 65 persen kapasitas kartu ditambah sekitar seperlima memori sistem, dan memberi tahu Anda ketika sebagian model berjalan di prosesor.
Angka miliaran hampir tidak memberi tahu apa pun
Dalam daftar ini, model berparameter 14 miliar butuh 21 GB sebelum bisa dijalankan. Model berparameter 29.6 miliar butuh 20 GB. Yang membedakan adalah cara model memegang percakapan, bukan ukurannya. Itulah sebabnya halaman ini adalah daftar gigabyte, bukan daftar miliaran, dan sebabnya kami menghitung jawabannya daripada mencetak sebuah tabel.
Batas bawah, dan apa yang ada di bawahnya
Setiap kali dijalankan, tersedia setidaknya 64.000 token memori percakapan, jadi sebuah model baru dihitung muat kalau masih ada ruang untuk percakapan di sebelahnya. Kalau dengan perhitungan itu tidak ada yang muat dari daftar, Convira merekomendasikan mesin cloud dan menjelaskan alasannya.
Itu rekomendasi, bukan putusan. Anda tetap bisa menjalankan sebuah model di komputer itu dari dalam aplikasi, dan aplikasi akan mengizinkannya. Halaman ini memeriksa memori, bukan ruang kosong; aplikasi memeriksa keduanya, jadi aplikasi masih bisa menolak model yang diizinkan halaman ini kalau unduhannya tidak muat.
Private Box
Lebih banyak daripada yang bisa dimuat satu komputer.
Private Box adalah server milik tim Anda sendiri. Ia menjalankan daftar yang sama dengan komputer desktop, dengan memori yang lebih besar di belakangnya.
Server biasa yang kuat
Mesin yang terus menyala, tanpa perlu kartu grafis, menjalankan daftar yang sama dengan komputer desktop, hanya dengan memori lebih besar: kelas 80 miliar sampai 128 miliar parameter di mesin 128 GB sampai 256 GB.
Model-model terdepan
Model-model ini butuh server dengan dua kartu grafis pusat data atau lebih, dan unduhannya berkisar dari 242 GB sampai 756 GB. Itulah gambaran jujurnya, dan itulah sebabnya halaman ini berhenti di apa yang bisa dimuat satu komputer.
Pertanyaan
Yang orang tanyakan berikutnya.
Jawaban untuk hampir setiap pesan yang kami terima soal perangkat keras.
Apakah angka miliaran yang lebih besar selalu butuh memori lebih banyak?
Tidak, dan bagian inilah yang hampir semua orang salah pahami. Jumlah parameter sebuah model memberi tahu seberapa besar model itu, bukan berapa memori yang dibutuhkannya untuk memegang percakapan, dan dalam daftar ini model yang lebih kecil kadang butuh memori lebih banyak daripada model yang jauh lebih besar. Itulah sebabnya halaman ini menghitung jawabannya untuk komputer Anda daripada mengurutkan model berdasarkan namanya.
Apakah saya perlu kartu grafis?
Tidak. Tanpa kartu grafis, model berjalan di prosesor. Permintaan yang panjang menunggu dalam hitungan menit, bukan detik, sebelum kata pertama muncul, dan Convira dibuat untuk menunggu daripada menyerah. Dua kartu juga tidak dijumlahkan di sini: Convira memuat model di satu kartu, jadi kartu kedua tidak menambah apa yang muat.
Bagaimana kalau komputer saya tidak ada di daftar?
Pilih grafis dan memori Anda saja. Komputer apa pun dengan grafis dan memori yang sama mendapat jawaban yang sama. Anda juga bisa memasukkan komponennya sendiri, dan kedua pintu itu berakhir pada jawaban yang nyata, bukan pada angkat tangan.
Convira tidak terpasang di komputer saya. Lalu bagaimana?
Convira terpasang di Mac dengan Apple Silicon yang menjalankan macOS 12 Monterey atau yang lebih baru, di Windows 10 dan 11 dengan prosesor x64, dan di Ubuntu 22.04 atau lebih baru, Debian 12 atau lebih baru, serta Fedora 38 atau lebih baru pada x86_64. Di luar itu tidak ada versi yang bisa dijalankan, jadi halaman ini tidak memberi jawaban soal model.
Bagaimana kalau halaman ini merekomendasikan cloud untuk komputer saya?
Berarti mesin cloud adalah pilihan yang lebih baik di komputer itu, dan Anda tetap bisa menjalankan sebuah model di sana. Aplikasi tetap menawarkan mesin lokal, karena halaman ini bekerja dari memori yang tertulis saat komputer dijual dan aplikasi bekerja dari mesin yang ada di depannya. Rekomendasi adalah saran, bukan kunci.
Berapa banyak disk yang dipakai model?
Dari sekitar 3 GB sampai sekitar 76 GB. Aplikasi menampilkan ukurannya sebelum mengunduh. Kami tidak bisa melihat ruang kosong Anda dari sebuah halaman web, jadi aplikasi masih bisa menolak model yang diizinkan halaman ini.
Apakah Convira mengukur seberapa cepat komputer saya?
Tidak. Yang kami terbitkan adalah apakah sebuah model muat. Kami tidak menerbitkan token per detik, karena kami belum mengukur komputer Anda, dan angka yang belum kami ukur tidak layak dicetak.
Bisakah satu model butuh dua jumlah memori yang sangat berbeda?
Bisa. Beberapa model dirilis dalam lebih dari satu versi, dan versi-versi itu memegang percakapan dengan cara berbeda, jadi satu versi bisa butuh memori beberapa kali lebih besar daripada versi lain untuk model yang sama. Aplikasi menawarkan versi yang bisa dimuat komputer Anda, dan halaman ini menampilkan versi itu, bukan rata-rata keduanya.
Mengapa sebuah model butuh memori lebih besar daripada unduhannya?
Karena unduhan hanyalah apa yang sudah dipelajari model itu. Di memori, model menyimpan itu ditambah percakapan yang sedang dikerjakannya, dan angka memori menghitung keduanya. Model terkecil dalam daftar ini mengunduh 3.1 GB dan butuh 5.2 GB memori.
Dari mana angka-angka ini berasal?
Dari daftar yang sama dengan yang dipakai aplikasi. Halaman ini menyimpan ukuran unduhan setiap model dan memori yang dipakai percakapannya, lalu menghitung setiap angka dari kedua hal itu, jadi tidak ada tabel kedua yang bisa jadi kedaluwarsa. Sumber untuk setiap chip dan kartu diterbitkan di samping datanya.