Lokale KI
Was kann Ihr Computer ausführen?
Die lokale Engine von Convira behält das Modell auf Ihrem eigenen Computer. Welche Modelle passen, entscheidet eine einzige Sache: Ihr Arbeitsspeicher. Nennen Sie uns Ihren Computer, und diese Seite rechnet genauso wie die App.
Nennen Sie uns Ihren Computer
Drei Wege hinein. Jeder davon endet in derselben Antwort.
Die Prüfung läuft in Ihrem Browser. Nichts über Ihren Computer wird an uns gesendet.
31 lokale Modelle · immer 64.000 Tokens Gesprächsspeicher
Alle lokalen Modelle, nach dem Arbeitsspeicher, den sie brauchen
Sortiert nach dem Arbeitsspeicher, den jedes Modell braucht, um eine Unterhaltung mit 64.000 Tokens zu halten.
- Eine Linie landet hier, beim eigenen Speicherbudget Ihres Computers.
5,2 GB das kleinste lokale Modell, Qwen 3.5 4B, bei 64.000 Tokens
Arbeitsspeicher
Warum der Arbeitsspeicher entscheidet, was Sie ausführen können.
Alles, was ein Modell gelernt hat, muss die ganze Zeit im Arbeitsspeicher Ihres Computers liegen, während es arbeitet, neben der Unterhaltung, die es hält. Was in diesen Anteil passt, können Sie ausführen.
Der Anteil, den Ihr Computer dafür abgibt
Auf einem Mac gibt Convira dem Modell 65 Prozent Ihres Arbeitsspeichers und behält den Rest für Ihr Betriebssystem. Auf einem PC mit Grafikkarte gibt es dem Modell 65 Prozent der Karte plus etwa ein Fünftel Ihres Systemspeichers und sagt Ihnen, wenn ein Teil des Modells auf dem Prozessor läuft.
Milliarden sagen fast nichts aus
Ein Modell mit 14 Milliarden Parametern auf dieser Liste braucht 21 GB, bevor es startet. Ein Modell mit 29.6 Milliarden Parametern braucht 20 GB. Der Unterschied liegt darin, wie das Modell eine Unterhaltung hält, nicht darin, wie groß es ist. Deshalb ist diese Seite eine Liste von Gigabyte und keine Liste von Milliarden, und deshalb berechnen wir die Antwort, statt eine Tabelle abzudrucken.
Die Untergrenze, und was darunter liegt
Jede Ausführung erhält mindestens 64.000 Tokens Gesprächsspeicher, deshalb gilt ein Modell erst dann als passend, wenn daneben noch Platz für die Unterhaltung ist. Wenn nach dieser Rechnung nichts auf der Liste passt, empfiehlt Convira die Cloud-Engine und sagt Ihnen, warum.
Das ist eine Empfehlung, kein Urteil. Sie können in der App trotzdem ein Modell auf dem Computer ausführen, und die App lässt Sie das tun. Diese Seite prüft den Arbeitsspeicher, nicht den freien Speicherplatz; die App prüft beides und kann daher ein Modell ablehnen, das diese Seite erlaubt hat, wenn der Download nicht passt.
Private Box
Mehr, als ein einzelner Computer fasst.
Eine Private Box ist der eigene Server Ihres Teams. Sie führt dieselbe Liste aus wie ein Desktop-Rechner, nur mit mehr Arbeitsspeicher dahinter.
Ein gewöhnlicher starker Server
Ein Rechner, der durchläuft und keine Grafikkarte braucht, führt dieselbe Liste aus wie ein Desktop-Rechner, nur mit mehr Arbeitsspeicher: die Klasse von 80 bis 128 Milliarden Parametern auf einem Rechner mit 128 GB bis 256 GB.
Die Frontier-Modelle
Diese brauchen einen Server mit zwei oder mehr Rechenzentrums-Grafikkarten, und ihre Downloads reichen von 242 GB bis 756 GB. So ehrlich ist das Bild, und deshalb endet diese Seite bei dem, was ein einzelner Computer fasst.
Fragen
Was man uns als Nächstes fragt.
Die Antworten auf fast jede Nachricht, die wir zur Hardware erhalten.
Braucht eine größere Zahl an Milliarden immer mehr Arbeitsspeicher?
Nein, und genau das versteht fast jeder falsch. Die Parameterzahl eines Modells sagt Ihnen, wie groß es ist, nicht, wie viel Arbeitsspeicher es braucht, um eine Unterhaltung zu halten, und auf dieser Liste braucht ein kleineres Modell manchmal mehr Arbeitsspeicher als ein viel größeres. Deshalb rechnet die Seite die Antwort für Ihren Computer aus, statt Modelle nach ihrem Namen zu sortieren.
Brauche ich eine Grafikkarte?
Nein. Ohne eine läuft das Modell auf dem Prozessor. Eine lange Anfrage wartet dann Minuten statt Sekunden auf das erste Wort, und Convira ist darauf gebaut zu warten, statt aufzugeben. Zwei Karten addieren sich hier auch nicht: Convira lädt das Modell auf eine Karte, eine zweite Karte erhöht also nicht, was passt.
Was, wenn mein Computer nicht auf der Liste steht?
Wählen Sie stattdessen Ihre Grafik und Ihren Arbeitsspeicher. Jeder Computer mit derselben Grafik und demselben Arbeitsspeicher erhält dieselbe Antwort. Sie können die Teile auch selbst eingeben, und beide Wege enden in einer echten Antwort statt in einem Schulterzucken.
Auf meinem Computer lässt sich Convira nicht installieren. Was nun?
Convira lässt sich auf Macs mit Apple Silicon ab macOS 12 Monterey installieren, auf Windows 10 und 11 mit x64-Prozessor sowie auf Ubuntu 22.04 oder neuer, Debian 12 oder neuer und Fedora 38 oder neuer auf x86_64. Auf allem anderen gibt es keinen Build, der läuft, deshalb gibt diese Seite dort keine Modellantwort.
Was, wenn diese Seite für meinen Computer die Cloud empfiehlt?
Dann ist die Cloud-Engine auf diesem Computer die bessere Wahl, und Sie können trotzdem ein Modell darauf ausführen. Die App bietet die lokale Engine ohnehin an, denn diese Seite rechnet mit dem Arbeitsspeicher, mit dem Ihr Computer verkauft wird, und die App rechnet mit dem Rechner, der vor ihr steht. Die Empfehlung ist ein Rat, keine Sperre.
Wie viel Speicherplatz brauchen die Modelle?
Von etwa 3 GB bis etwa 76 GB. Die App zeigt die Größe, bevor sie herunterlädt. Ihren freien Speicherplatz können wir von einer Webseite aus nicht sehen, deshalb kann die App ein Modell doch noch ablehnen, das diese Seite erlaubt hat.
Misst Convira, wie schnell mein Computer ist?
Nein. Wir veröffentlichen, ob ein Modell passt. Tokens pro Sekunde veröffentlichen wir nicht, denn wir haben Ihren Computer nicht gemessen, und eine Zahl, die wir nicht gemessen haben, ist es nicht wert, gedruckt zu werden.
Kann ein Modell zwei sehr unterschiedliche Mengen Arbeitsspeicher brauchen?
Ja. Einige Modelle erscheinen in mehr als einem Build, und die Builds halten eine Unterhaltung unterschiedlich, deshalb kann ein Build für dasselbe Modell ein Mehrfaches des Arbeitsspeichers eines anderen brauchen. Die App bietet den Build an, den Ihr Computer fassen kann, und diese Seite zeigt genau diesen, nicht den Mittelwert der beiden.
Warum braucht ein Modell mehr Arbeitsspeicher als seinen Download?
Weil der Download nur das ist, was das Modell gelernt hat. Im Arbeitsspeicher hält es das plus die Unterhaltung, an der es arbeitet, und die Speicherangabe zählt beides. Das kleinste Modell auf dieser Liste lädt 3.1 GB herunter und braucht 5.2 GB Arbeitsspeicher.
Woher kommen diese Zahlen?
Aus derselben Liste, die die App verwendet. Die Seite hält die Downloadgröße jedes Modells und den Arbeitsspeicher, den seine Unterhaltung braucht, und rechnet jede Zahl aus diesen beiden aus, es gibt also keine zweite Tabelle, die veralten kann. Die Quellen zu jedem Chip und jeder Karte sind neben den Daten veröffentlicht.