Ollama로 로컬에서 실행할 수 있는 최고의 무검열 LLM

짧은 답변: 메모리에 따라 선택한 후 두세 가지를 테스트하세요.

이 분야의 유일한 최고 모델은 없습니다. 제한은 하드웨어이기 때문입니다. 모델은 작업 캐시와 함께 GPU 메모리(또는 훨씬 느린 시스템 RAM)에 맞아야 합니다. 실용적인 규칙은 간단합니다. 메모리에 여유롭게 맞고 견딜 수 있는 속도로 응답하는 가장 큰 모델을 찾은 후, 자신의 프롬프트로 두세 후보를 비교하세요.

모델 이름과 순위는 몇 주마다 변경되므로, 오늘 작성된 목록은 금방 낡습니다. 리더보드는 건너뛰고 간단한 방법을 사용하세요: Ollama 라이브러리와 커뮤니티 업로드를 둘러보고, uncensored, abliterated 또는 역할극용으로 파인튜닝된 모델로 필터링한 후, 작은 모델과 중간 크기의 모델을 하나씩 가져와 동일한 10개의 프롬프트로 각각 실행해 보세요. 다른 사람의 벤치마크 점수보다 직접 사용한 프롬프트가 더 많은 것을 알려줍니다.

그 후 머신에 맞는 모델이 원하는 품질에 너무 작다고 판단되면 호스팅 엔드포인트가 대안입니다. 이 페이지의 나머지 부분은 숫자로 결정할 수 있도록 절충안을 설명합니다.

머신에 맞는 모델 크기 결정 방법

파라미터 수, 양자화, 컨텍스트 길이가 실행 성능을 결정합니다.

파라미터 및 양자화

파라미터가 더 많은 모델은 일반적으로 더 잘 작성하고 지시를 더 안정적으로 따르며 캐릭터를 더 오래 유지합니다. 하지만 파라미터는 메모리를 차지합니다. 전체 16비트 정밀도에서 모델은 파라미터당 약 2바이트가 필요하므로 7B 모델은 캐시 전에도 약 14GB가 필요합니다. 양자화는 이를 줄입니다. 4비트 버전은 파라미터당 약 0.5바이트가 필요하므로 동일한 7B 모델은 약 4~5GB에 맞습니다. 품질은 단계별로 약간 떨어지며 손실은 일반적으로 4~5비트에서는 작고 그 이하에서 눈에 띕니다.

컨텍스트 길이

컨텍스트 창도 메모리를 차지합니다. 모델은 대화의 모든 것을 캐시하기 때문입니다. 긴 역할극 세션이나 이전 텍스트가 많은 스토리는 더 큰 캐시가 필요합니다. Ollama는 모델별로 컨텍스트 크기를 설정할 수 있으며, 더 큰 값은 더 많은 메모리를 사용하고 생성 속도를 늦춥니다. 많은 로컬 설정은 속도를 유지하기 위해 수천 토큰의 창으로 실행되므로 모델이 긴 채팅의 시작을 잊습니다.

속도

모델이 GPU 메모리를 넘어 시스템 RAM으로 넘치면 생성 속도가 편안한 읽기 속도에서 단어 단위로 떨어질 수 있습니다. GPU에 완전히 맞지 않는 더 큰 모델보다 GPU에 완전히 맞는 더 작은 모델이 더 나은 느낌을 줄 수 있습니다.

Ollama에서 모델 실행 및 코드에서 호출

Ollama가 설치되면 가져오기 및 채팅은 두 명령으로 끝나며, 정확한 모델 이름은 선택한 라이브러리 페이지에서 가져옵니다:

Copyollama pull MODEL_NAME
ollama run MODEL_NAME

Ollama는 기본적으로 http://localhost:11434/v1에서 OpenAI 호환 API도 제공합니다. 이는 동일한 클라이언트 코드가 로컬 모델 또는 호스팅 모델과 통신할 수 있음을 의미하며, Base URL과 모델 이름을 변경하여 전환할 수 있습니다:

Copyfrom openai import OpenAI

# Local Ollama (the key is ignored but must be non-empty)
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

# Hosted endpoint
hosted = OpenAI(base_url="https://api.ornith.top/v1", api_key="YOUR_API_KEY")

def ask(client, model, text):
    r = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": text}],
    )
    return r.choices[0].message.content

prompt = "Write a tense two-paragraph scene set in an abandoned lighthouse."
print(ask(local, "MODEL_NAME", prompt))
print(ask(hosted, "uncensored", prompt))

동일한 프롬프트에서 둘을 실행하는 것이 자신의 사례에 대한 질문에 답하는 가장 빠른 방법입니다. 로컬 출력이 충분하다면 완료된 것이며 전기 요금만 들게 됩니다. 그렇지 않다면 얻을 수 있는 기준이 생깁니다.

로컬 Ollama 대 호스팅 API

어느 쪽이 모든 경우에 더 나은 것은 아닙니다. 이 표는 각 접근 방식의 구조적으로 참인 사실에 국한됩니다.

항목	Ollama 로컬	호스팅 API
선불 비용	자신의 GPU 또는 충분한 RAM이 있는 머신	없음; $20부터 시작하는 선불 크레딧
실행 비용	전기 및 귀하의 시간	입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50
모델 크기	메모리에 의해 제한됨	제공업체가 선택한 하나의 모델
오프라인에서 작동	예	아니요, 인터넷 필요
데이터가 로컬 머신을 벗어남	아니요	네, 프롬프트가 제공업체로 전송됩니다. 저희 프롬프트는 학습용으로 사용되지 않습니다.
모델 선택	다운로드할 수 있는 모든 것	제공된 것만
동시 사용자	하드웨어에 의해 제한됨	전체 키당 최대 8개의 동시 요청
설정	설치, 가져오기, 설정 조정	Base URL 및 키 변경

로컬은 프라이버시, 오프라인 사용 및 선택의 자유에서 승리합니다. 텍스트가 머신에서 절대 벗어나지 않아야 하거나 모델을 매주 교체하고 싶다면 로컬로 실행하세요. 호스팅 API는 설정 시간, 작업 중 GPU 점유 해제, 여러 사용자가 동시에 앱을 서비스하는 점에서 승리합니다.

저희가 제공하지 않는 것도 공정하게 말해야 합니다. 이 서비스는 호스팅 엔드포인트만 제공합니다. 다운로드할 모델 파일이 없으며, 파인튜닝이나 자체 가중치 가져오기가 불가능합니다. 모델을 소유하고 싶다면 Ollama가 올바른 도구이며, 저희 오픈 소스 LLM API 가이드는 더 넓은 옵션 집합을 다룹니다.

호스팅 비용 계산

사람들은 호스팅된 모델이 무료 로컬 실행에 비해 비싸다고 종종 가정합니다. 하드웨어 비용을 포함하면 로컬도 무료는 아니지만, 구체적인 사용 사례를 비교하면 더 쉽습니다. 여기 가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다.

• 캐주얼 역할극, 하루 100개 메시지. 각 턴이 3,000개의 히스토리 토큰을 보내고 300개의 토큰을 받는다고 가정합니다. 턴당 입력: 3,000개, 1M당 $0.15이므로 $0.00045입니다. 출력: 300개, 1M당 $0.50이므로 $0.00015입니다. 이는 턴당 $0.0006, 100턴당 $0.06, 30일 동안 약 $1.80입니다.
• 글쓰기 프로젝트. 한 달에 입력 토큰 500만 개와 출력 토큰 100만 개는 $0.75에 $0.50을 더해 총 $1.25입니다.
• 작은 앱. 한 달에 200M 입력 및 40M 출력 토큰은 $30 + $20이므로 $50입니다.

자신의 GPU 가격을 책정할 수 있는 사람은 귀하뿐이지만, 경량 및 중량 사용은 호스팅 비용이 매우 적습니다. $20 최소 충전금은 첫 두 수준에서 오랜 시간을 커버하며, 크레딧은 만료되지 않으므로 한 달 쉬어도 사라지지 않습니다. 더 큰 충전금에는 보너스가 따릅니다: $50부터 5%, $100부터 10%, $200부터 15%. 전체 세부 정보는 가격 책정 페이지에 있습니다.

두 가지를 조합하는 현명한 방법

한 번 선택해야 하는 것은 아닙니다. 많은 사람들이 빠른 초안 및 개인 메모를 위해 작은 로컬 모델을 실행하고, 더 길거나 요구가 높은 작업을 호스팅 엔드포인트로 보냅니다. 둘 다 OpenAI 형식을 지원하므로 앱은 두 클라이언트 객체를 유지하고 위의 코드처럼 작업별로 라우팅할 수 있습니다.

호스팅 측을 테스트할 때, 새 사용자는 API 키 페이지에서 한 번의 클릭으로 $0.50의 체험 크레딧을 청구할 수 있습니다. 카드는 필요 없으며, 사람당 하나, 유효 기간 7일입니다. 위의 턴당 수치로 이는 수백 번의 역할극 턴이며, 동일한 프롬프트로 최고의 로컬 모델과 비교하기에 충분합니다. Google 또는 이메일과 비밀번호로 API 키를 생성할 수 있습니다. API 문서에는 temperature, top_p, stop, seed와 같은 파라미터가 나열되어 있으며, 이는 전달되므로 로컬 샘플링 설정이 이어집니다.

계획해야 할 몇 가지 제한 사항이 있습니다. 체험용 키는 동시 요청 2개와 분당 요청 60개를 허용하며, 일반 키는 각각 8개와 300개를 허용합니다. 컨텍스트 창은 100,000 토큰으로 대부분의 로컬 환경이 편안하게 처리하는 범위보다 훨씬 큽니다. 그리고 설정으로 변경할 수 없는 유일한 규칙은 이 모델이 합법적인 성인용이며 미성년자가 포함된 성적인 콘텐츠는 생성하지 않는다는 것입니다.

더 많은 가이드

• 무검열 LLM: 의미 및 사용 방법
• SillyTavern용 무검열 LLM API: 설정 단계
• 오픈 소스 LLM API 가이드: 설정, 비용 및 대안