로컬 AI
내 컴퓨터는 무엇을 돌릴 수 있을까요?
Convira의 로컬 엔진은 모델을 사용자의 컴퓨터 안에 둡니다. 어떤 모델이 들어가는지는 단 하나, 메모리가 결정합니다. 컴퓨터만 알려 주시면 이 페이지가 앱과 똑같은 계산을 해 드립니다.
컴퓨터를 알려 주세요
들어가는 길은 셋입니다. 어느 길이든 같은 답으로 이어집니다.
확인은 브라우저 안에서 이루어집니다. 컴퓨터에 대한 어떤 정보도 저희에게 전송되지 않습니다.
로컬 모델 31개 · 대화 메모리는 언제나 64,000 토큰
모든 로컬 모델, 필요한 메모리 순
64,000 토큰 대화를 붙들기 위해 각 모델이 필요로 하는 메모리 순으로 정렬했습니다.
- 여기에 선이 하나 놓입니다. 내 컴퓨터의 메모리 한도입니다.
5.2 GB 가장 작은 로컬 모델 Qwen 3.5 4B, 64,000 토큰에서
메모리
왜 메모리가 돌릴 수 있는 것을 결정하는지.
모델이 배운 모든 것은, 모델이 일하는 동안 내내 컴퓨터의 메모리 안에, 지금 붙들고 있는 대화 바로 옆에 놓여 있어야 합니다. 그 몫에 들어가는 것이 돌릴 수 있는 것입니다.
내 컴퓨터가 내주는 몫
Mac에서는 Convira가 메모리의 65퍼센트를 모델에 주고 나머지는 운영체제를 위해 남깁니다. 그래픽 카드가 있는 PC에서는 카드의 65퍼센트에 시스템 메모리의 약 5분의 1을 더해 모델에 주고, 모델의 일부가 프로세서에서 돌아갈 때는 그 사실을 알려 드립니다.
몇십억이라는 숫자는 알려 주는 것이 거의 없습니다
이 목록에서 파라미터 14십억 모델은 시작하기까지 21 GB가 필요합니다. 파라미터 29.6십억 모델은 20 GB가 필요합니다. 차이는 모델이 얼마나 큰지가 아니라, 대화를 어떻게 붙들고 있는지에서 나옵니다. 그래서 이 페이지는 몇십억의 목록이 아니라 기가바이트의 목록이고, 표를 찍어 내는 대신 답을 계산합니다.
하한선, 그리고 그 아래에 있는 것
모든 실행은 최소 64,000 토큰의 대화 메모리를 받습니다. 그래서 모델은 그 옆에 대화가 들어갈 자리가 남을 때에만 들어간다고 셉니다. 그 계산으로 목록의 어느 것도 들어가지 않으면, Convira는 클라우드 엔진을 권하고 그 이유를 말씀드립니다.
이것은 권고이지 판정이 아닙니다. 앱에서 그 컴퓨터로 모델을 돌릴 수 있고, 앱도 허용합니다. 이 페이지는 메모리만 보고 여유 공간은 보지 않습니다. 앱은 둘 다 보기 때문에, 내려받을 용량이 들어가지 않으면 이 페이지가 허용한 모델을 앱이 거절할 수도 있습니다.
Private Box
컴퓨터 한 대가 담는 것보다 더 많이.
Private Box는 팀이 직접 두는 서버입니다. 데스크톱이 돌리는 것과 같은 목록을, 더 많은 메모리를 뒤에 두고 돌립니다.
평범하지만 힘이 좋은 서버
계속 켜 두는 기계는 그래픽 카드가 없어도 데스크톱이 돌리는 것과 같은 목록을 돌립니다. 다른 점은 메모리의 양뿐입니다. 128 GB에서 256 GB인 기계에서는 파라미터 800억에서 1280억 급까지 갑니다.
프런티어 모델
이 모델들에는 데이터센터용 그래픽 카드를 두 장 이상 둔 서버가 필요하고, 내려받을 용량은 242 GB에서 756 GB에 이릅니다. 그것이 솔직한 모습이고, 그래서 이 페이지는 컴퓨터 한 대가 담는 범위에서 멈춥니다.
문의
다음으로 많이 묻는 것들.
하드웨어에 대해 받는 거의 모든 문의에 대한 답입니다.
몇십억이라는 숫자가 크면 항상 메모리도 더 필요한가요?
아니요, 그리고 거의 모두가 이 부분을 잘못 알고 계십니다. 모델의 파라미터 수는 모델이 얼마나 큰지를 알려 주지, 대화를 붙들기 위해 메모리가 얼마나 필요한지를 알려 주지 않습니다. 이 목록에서는 더 작은 모델이 훨씬 큰 모델보다 메모리를 더 많이 쓰는 경우도 있습니다. 그래서 이 페이지는 모델을 이름으로 줄 세우는 대신, 사용자의 컴퓨터에 맞춰 답을 계산합니다.
그래픽 카드가 필요한가요?
아니요. 카드가 없으면 모델은 프로세서에서 돌아갑니다. 긴 요청은 첫 단어가 나오기까지 초가 아니라 분을 기다리지만, Convira는 포기하지 않고 기다리도록 만들어졌습니다. 카드 두 장도 여기서는 합쳐지지 않습니다. Convira는 모델을 카드 한 장에 올리므로, 두 번째 카드가 들어가는 범위를 넓혀 주지는 않습니다.
내 컴퓨터가 목록에 없으면 어떻게 하나요?
대신 그래픽과 메모리를 고르세요. 그래픽과 메모리가 같은 컴퓨터라면 답도 같습니다. 부품을 직접 입력하실 수도 있고, 두 길 모두 어깨를 들썩이는 대답이 아니라 진짜 답으로 이어집니다.
내 컴퓨터는 Convira가 설치되는 기종이 아닙니다. 이제 어떻게 하나요?
Convira는 macOS 12 Monterey 이상의 Apple Silicon Mac, x64 프로세서를 쓰는 Windows 10과 11, 그리고 x86_64의 Ubuntu 22.04 이상, Debian 12 이상, Fedora 38 이상에 설치됩니다. 그 밖의 환경에는 돌릴 빌드가 없으므로, 이 페이지는 모델에 대한 답을 내지 않습니다.
이 페이지가 내 컴퓨터에 클라우드를 권하면 어떻게 되나요?
그 컴퓨터에서는 클라우드 엔진이 더 나은 선택이라는 뜻이고, 그래도 모델을 돌릴 수 있습니다. 앱은 어느 쪽이든 로컬 엔진을 제시합니다. 이 페이지는 컴퓨터가 판매될 때의 메모리를 기준으로 삼고, 앱은 바로 앞에 있는 기계를 기준으로 삼기 때문입니다. 권고는 조언이지 잠금장치가 아닙니다.
모델은 디스크를 얼마나 쓰나요?
약 3 GB에서 약 76 GB입니다. 앱은 내려받기 전에 용량을 보여 줍니다. 웹 페이지에서는 여유 공간을 볼 수 없으므로, 이 페이지가 허용한 모델을 앱이 거절할 수도 있습니다.
Convira가 내 컴퓨터의 속도를 재나요?
아니요. 저희가 공개하는 것은 모델이 들어가는지 여부입니다. 초당 토큰 수는 공개하지 않습니다. 사용자의 컴퓨터를 재 보지 않았고, 재지 않은 숫자는 적을 가치가 없기 때문입니다.
같은 모델이 아주 다른 두 가지 메모리 양을 요구할 수 있나요?
그렇습니다. 일부 모델은 빌드가 둘 이상이고, 빌드마다 대화를 붙드는 방식이 달라서, 같은 모델이라도 한 빌드가 다른 빌드의 몇 배 메모리를 요구할 수 있습니다. 앱은 사용자의 컴퓨터가 담을 수 있는 빌드를 제시하고, 이 페이지는 둘의 평균이 아니라 그 빌드를 보여 줍니다.
모델은 왜 내려받은 용량보다 메모리를 더 많이 쓰나요?
내려받은 것은 모델이 배운 내용뿐이기 때문입니다. 메모리 안에서는 그 내용에 더해 지금 다루는 대화까지 들고 있고, 메모리 수치는 둘 다 셉니다. 이 목록에서 가장 작은 모델은 내려받는 용량이 3.1 GB이고 메모리는 5.2 GB가 필요합니다.
이 숫자들은 어디서 나왔나요?
앱이 쓰는 것과 같은 목록에서 나왔습니다. 이 페이지는 모델별 내려받기 용량과 그 대화가 쓰는 메모리를 갖고 있고, 모든 수치를 그 둘에서 계산합니다. 그래서 낡아 갈 두 번째 표가 없습니다. 칩과 카드별 출처는 데이터 옆에 공개해 두었습니다.