लोकल AI

आपका कंप्यूटर क्या चला सकता है?

Convira का लोकल इंजन मॉडल को आपके ही कंप्यूटर पर रखता है। कौन से मॉडल समाएँगे, यह एक ही चीज़ तय करती है: आपकी मेमोरी। हमें अपना कंप्यूटर बताइए और यह पेज वही गणित करेगा जो ऐप करता है।

हमें अपना कंप्यूटर बताइए

तीन रास्ते। इनमें से कोई भी उसी जवाब पर ख़त्म होता है।

जाँच आपके ब्राउज़र में होती है। आपके कंप्यूटर के बारे में कुछ भी हमें नहीं भेजा जाता।

31 लोकल मॉडल · बातचीत मेमोरी हमेशा 64,000 टोकन

सभी लोकल मॉडल, उनकी ज़रूरी मेमोरी के हिसाब से

64,000 टोकन की बातचीत थामने के लिए हर मॉडल को जितनी मेमोरी चाहिए, उसी क्रम में।

एक लकीर यहाँ पड़ती है, आपके कंप्यूटर की अपनी मेमोरी सीमा पर।

5.2 GB सबसे छोटा लोकल मॉडल, Qwen 3.5 4B, 64,000 टोकन पर

मेमोरी

मेमोरी ही क्यों तय करती है कि आप क्या चला सकते हैं।

मॉडल ने जो कुछ सीखा है, उसे काम करते समय पूरे वक़्त आपके कंप्यूटर की मेमोरी में रहना होता है, उस बातचीत के साथ-साथ जो वह थामे हुए है। उस हिस्से में जो समा जाता है, वही आप चला सकते हैं।

वह हिस्सा जो आपका कंप्यूटर उसे देता है

Mac पर Convira मॉडल को आपकी मेमोरी का 65 प्रतिशत देता है और बाक़ी आपके ऑपरेटिंग सिस्टम के लिए रखता है। ग्राफ़िक्स कार्ड वाले PC पर यह मॉडल को कार्ड का 65 प्रतिशत और सिस्टम मेमोरी का लगभग पाँचवाँ हिस्सा देता है, और जब मॉडल का कुछ भाग प्रोसेसर पर चलता है तो वह आपको बता देता है।

अरबों की संख्या से लगभग कुछ पता नहीं चलता

इस सूची में 14 अरब पैरामीटर वाले एक मॉडल को शुरू होने से पहले 21 GB चाहिए। 29.6 अरब पैरामीटर वाले एक मॉडल को 20 GB चाहिए। फ़र्क़ इसमें है कि मॉडल बातचीत को कैसे थामता है, इसमें नहीं कि वह कितना बड़ा है। इसीलिए यह पेज अरबों की सूची नहीं बल्कि गीगाबाइट की सूची है, और इसीलिए हम तालिका छापने के बजाय जवाब की गणना करते हैं।

निचली सीमा, और उसके नीचे जो है

हर रन को कम से कम 64,000 टोकन बातचीत मेमोरी मिलती है, इसलिए कोई मॉडल तभी समाया हुआ गिना जाता है जब उसके साथ बातचीत के लिए भी जगह बचे। जब इस गणित से सूची में कुछ भी नहीं समाता, तो Convira क्लाउड इंजन की सलाह देता है और कारण भी बताता है।

यह एक सलाह है, फ़ैसला नहीं। आप ऐप में उस कंप्यूटर पर मॉडल चला सकते हैं, और ऐप आपको ऐसा करने देगा। यह पेज मेमोरी देखता है, खाली जगह नहीं; ऐप दोनों देखता है, इसलिए अगर डाउनलोड न समाए तो वह उस मॉडल को मना कर सकता है जिसे इस पेज ने मंज़ूरी दी थी।

Private Box

एक कंप्यूटर में जितना समाता है, उससे ज़्यादा।

Private Box आपकी टीम का अपना सर्वर है। यह वही सूची चलाता है जो एक डेस्कटॉप चलाता है, बस उसके पीछे ज़्यादा मेमोरी होती है।

एक साधारण मज़बूत सर्वर

वह मशीन जो चालू रहती है और जिसे ग्राफ़िक्स कार्ड की ज़रूरत नहीं, वही सूची चलाती है जो एक डेस्कटॉप चलाता है, बस ज़्यादा मेमोरी के साथ: 128 GB से 256 GB वाली मशीन पर 80 अरब से 128 अरब पैरामीटर की श्रेणी।

अग्रणी मॉडल

इन्हें दो या उससे ज़्यादा डेटासेंटर ग्राफ़िक्स कार्ड वाला सर्वर चाहिए, और इनके डाउनलोड 242 GB से 756 GB तक जाते हैं। यही इसकी ईमानदार तस्वीर है, और इसीलिए यह पेज वहीं रुक जाता है जहाँ एक कंप्यूटर की सीमा है।

प्रश्न

लोग हमसे आगे यह पूछते हैं।

हार्डवेयर के बारे में आने वाले लगभग हर संदेश के जवाब।

क्या अरबों की बड़ी संख्या को हमेशा ज़्यादा मेमोरी चाहिए?

नहीं, और यही वह बात है जो लगभग हर कोई गलत समझता है। किसी मॉडल की पैरामीटर संख्या बताती है कि वह कितना बड़ा है, यह नहीं कि बातचीत थामने के लिए उसे कितनी मेमोरी चाहिए, और इस सूची में छोटा मॉडल कभी-कभी किसी बहुत बड़े मॉडल से ज़्यादा मेमोरी माँगता है। इसीलिए यह पेज मॉडलों को नाम से क्रम में लगाने के बजाय आपके कंप्यूटर के लिए जवाब निकालता है।

क्या मुझे ग्राफ़िक्स कार्ड चाहिए?

नहीं। कार्ड के बिना मॉडल प्रोसेसर पर चलता है। लंबी माँग में पहले शब्द तक सेकंड की जगह मिनट लगते हैं, और Convira हार मानने के बजाय इंतज़ार करने के लिए बना है। दो कार्ड भी यहाँ जुड़ते नहीं हैं: Convira मॉडल को एक ही कार्ड पर लोड करता है, इसलिए दूसरा कार्ड यह नहीं बढ़ाता कि क्या समाएगा।

अगर मेरा कंप्यूटर सूची में न हो तो?

इसके बजाय अपना ग्राफ़िक्स और अपनी मेमोरी चुनिए। एक जैसे ग्राफ़िक्स और एक जैसी मेमोरी वाले किसी भी कंप्यूटर को वही जवाब मिलता है। आप हिस्से खुद भी भर सकते हैं, और दोनों रास्ते कंधा उचकाने के बजाय एक असली जवाब पर ख़त्म होते हैं।

Convira मेरे कंप्यूटर पर इंस्टॉल नहीं होता। अब क्या?

Convira macOS 12 Monterey या उससे नए Apple Silicon Mac पर, x64 प्रोसेसर वाले Windows 10 और 11 पर, और x86_64 पर Ubuntu 22.04 या नए, Debian 12 या नए और Fedora 38 या नए पर इंस्टॉल होता है। बाक़ी किसी चीज़ पर चलाने के लिए कोई बिल्ड नहीं है, इसलिए यह पेज मॉडल के बारे में कोई जवाब नहीं देता।

अगर यह पेज मेरे कंप्यूटर के लिए क्लाउड की सलाह दे तो?

तो उस कंप्यूटर पर क्लाउड इंजन बेहतर विकल्प है, और आप फिर भी उस पर मॉडल चला सकते हैं। ऐप लोकल इंजन तो देता ही है, क्योंकि यह पेज उस मेमोरी से चलता है जिसके साथ आपका कंप्यूटर बिकता है और ऐप सामने खड़ी मशीन से चलता है। सलाह सलाह है, ताला नहीं।

मॉडल कितनी डिस्क लेते हैं?

लगभग 3 GB से लगभग 76 GB तक। ऐप डाउनलोड से पहले आकार दिखाता है। किसी वेब पेज से हम आपकी खाली जगह नहीं देख सकते, इसलिए ऐप उस मॉडल को फिर भी मना कर सकता है जिसे इस पेज ने मंज़ूरी दी थी।

क्या Convira मापता है कि मेरा कंप्यूटर कितना तेज़ है?

नहीं। हम यह प्रकाशित करते हैं कि कोई मॉडल समाता है या नहीं। हम प्रति सेकंड टोकन प्रकाशित नहीं करते, क्योंकि हमने आपका कंप्यूटर मापा नहीं है, और जो संख्या हमने मापी नहीं, वह छापने लायक नहीं है।

क्या एक ही मॉडल को दो बहुत अलग मात्रा में मेमोरी चाहिए हो सकती है?

हाँ। कुछ मॉडल एक से ज़्यादा बिल्ड में आते हैं, और बिल्ड बातचीत को अलग तरह से थामते हैं, इसलिए एक ही मॉडल के लिए एक बिल्ड को दूसरे से कई गुना मेमोरी चाहिए हो सकती है। ऐप वही बिल्ड देता है जो आपका कंप्यूटर थाम सके, और यह पेज दोनों का औसत नहीं बल्कि वही बिल्ड दिखाता है।

मॉडल को अपने डाउनलोड से ज़्यादा मेमोरी क्यों चाहिए?

क्योंकि डाउनलोड में सिर्फ़ वह है जो मॉडल ने सीखा है। मेमोरी में वह उसके साथ उस बातचीत को भी थामता है जिस पर वह काम कर रहा है, और मेमोरी का आँकड़ा दोनों गिनता है। इस सूची का सबसे छोटा मॉडल 3.1 GB डाउनलोड करता है और उसे 5.2 GB मेमोरी चाहिए।

ये आँकड़े कहाँ से आते हैं?

उसी सूची से जो ऐप इस्तेमाल करता है। यह पेज हर मॉडल का डाउनलोड आकार और उसकी बातचीत की मेमोरी रखता है, और हर आँकड़ा इन दोनों से निकालता है, इसलिए पुरानी पड़ने वाली कोई दूसरी तालिका नहीं है। हर चिप और कार्ड के स्रोत डेटा के साथ ही प्रकाशित हैं।

Convira पाएँmacOS · Windows · Linuxइसे अपनी फ़ाइलों पर काम करते हुए देखें