Ключевые моменты
- Лучшая локальная модель — самая большая, которая помещается в вашу VRAM с приемлемой скоростью, а не та, у которой лучшая репутация.
- Ollama предоставляет OpenAI-совместимый эндпоинт на вашем собственном устройстве, поэтому один и тот же клиентский код работает локально и на хостинге.
- Локальный запуск обеспечивает приватность и работу офлайн; хостинг дает большую модель, не требует оборудования и настройки.
- Мы предлагаем только хостинговый эндпоинт: загрузки модели с этого сервиса нет.
Короткий ответ: выбирайте по памяти, затем протестируйте две-три
Нет единой лучшей модели, потому что лимит — ваше оборудование. Модель должна помещаться в память GPU (или в системную RAM, значительно медленнее) вместе с рабочим кэшем. Практическое правило просто: найдите самую большую модель, которая комфортно помещается в вашу память и все еще отвечает со скоростью, с которой вы можете жить, затем сравните два-три кандидата на своих промптах.
Названия моделей и их рейтинги меняются каждые несколько недель, поэтому любой список, составленный сегодня, быстро устаревает. Пропустите таблицы лидеров и используйте короткий метод: просмотрите библиотеку Ollama и загрузки сообщества, отфильтруйте модели, описанные как «без цензуры», аблированные или дообученные для ролевых игр, загрузите одну небольшую и одну среднюю, и пропустите через каждую те же десять промптов. Ваши собственные промпты расскажут вам больше, чем оценка в чужом бенчмарке.
Если после этого вы обнаружите, что модели, которые помещаются на вашем компьютере, слишком малы для нужного вам качества, хостинговый эндпоинт — альтернатива. Остальная часть этой страницы излагает компромисс, чтобы вы могли принять решение с цифрами.
Как определить размер модели для вашего компьютера
Три числа решают, что работает хорошо: количество параметров, квантование и длина контекста.
Параметры и квантование
Модель с большим количеством параметров обычно пишет лучше, надежнее следует инструкциям и дольше удерживает персонажа. Но параметры занимают память. При полной 16-битной точности модели нужно около двух байт на параметр, поэтому 7B модели нужно примерно 14 ГБ до любого кэша. Квантование уменьшает это. 4-битная версия требует около полубайта на параметр, поэтому та же 7B модель помещается примерно в 4–5 ГБ. Качество немного падает с каждым шагом вниз, и потеря обычно невелика при 4–5 битах и заметна ниже этого.
Длина контекста
Контекстное окно также стоит памяти, потому что модель хранит кэш всего в разговоре. Длительная сессия ролевой игры или история с большим количеством предыдущего текста требует большего кэша. Ollama позволяет вам устанавливать размер контекста для каждой модели, и большее значение использует больше памяти и замедляет генерацию. Многие локальные настройки работают с окном в несколько тысяч токенов, чтобы оставаться быстрыми, что означает, что модель забывает начало длинных чатов.
Скорость
Если модель выходит за пределы памяти видеокарты в системную оперативную память, скорость генерации может упасть с комфортного уровня чтения до одного слова за раз. Более маленькая модель, которая полностью помещается в видеокарту, часто работает лучше, чем более крупная, которая не помещается, даже если крупная модель пишет чуть лучше.
Запуск модели в Ollama и вызов её из кода
После установки Ollama для загрузки и общения требуется две команды, а точное имя модели берётся со страницы библиотеки, которую вы выбрали:
ollama pull MODEL_NAME
ollama run MODEL_NAMEOllama также предоставляет API, совместимый с OpenAI, на вашем собственном компьютере, по умолчанию по адресу http://localhost:11434/v1. Это означает, что один и тот же клиентский код может обращаться к локальной или размещённой модели, а переключение происходит путём изменения базового URL и имени модели:
from openai import OpenAI
# Local Ollama (the key is ignored but must be non-empty)
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# Hosted endpoint
hosted = OpenAI(base_url="https://api.ornith.top/v1", api_key="YOUR_API_KEY")
def ask(client, model, text):
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": text}],
)
return r.choices[0].message.content
prompt = "Write a tense two-paragraph scene set in an abandoned lighthouse."
print(ask(local, "MODEL_NAME", prompt))
print(ask(hosted, "uncensored", prompt))Запуск обеих моделей на одних и тех же промптах — самый быстрый способ ответить на вопрос для вашего конкретного случая. Если локальный вывод достаточно хорош, вы закончили, и это стоит вам только электроэнергии. Если нет, у вас есть базовый уровень для оценки того, что вы получите.
Локальный Ollama против размещённого API
Ни один не лучше во всех случаях. Эта таблица придерживается того, что структурно верно для каждого подхода.
| Пункт | Локально с Ollama | Хостинговое API |
|---|---|---|
| Предварительные расходы | Ваша собственная GPU или машина с достаточной RAM | Нет; предоплаченный кредит от $20 |
| Стоимость запуска | Электричество и ваше время | $0,15 за 1 млн входных токенов, $0,50 за 1 млн выходных токенов |
| Размер модели | Ограничено вашей памятью | Одна модель, выбранная провайдером |
| Работает автономно | Да | Нет, требуется интернет |
| Данные покидают вашу машину | Нет | Да, промпты идут провайдеру; наши не используются для обучения |
| Выбор модели | Все, что можно скачать | Только одна предлагаемая |
| Одновременные пользователи | Ограничено вашим оборудованием | До 8 одновременных запросов для полного ключа |
| Настройка | Установка, загрузка, настройка параметров | Изменить базовый URL и ключ |
Локальное решение выигрывает в приватности, автономной работе и свободе выбора. Если ваш текст никогда не должен покидать ваше устройство, или вы хотите менять модели еженедельно, запускайте локально. Размещённый API выигрывает по времени настройки, по отсутствию привязки вашей GPU во время работы и по обслуживанию приложения несколькими пользователями одновременно.
Также справедливо сказать, чего мы не предлагаем. Этот сервис — только хостинговый эндпоинт. Нет файла модели для загрузки, нет дообучения и нет способа использовать свои веса. Если вы хотите владеть моделью, Ollama — правильный инструмент, а наше руководство по открытому LLM API охватывает более широкий набор вариантов.
Что стоит размещённое API, разобрано
Люди часто предполагают, что хостинговая модель дорога по сравнению с бесплатным локальным запуском. Локальный не бесплатен, если учесть оборудование, но сравнение проще с конкретным использованием. Цены здесь: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов.
- Повседневная ролевая игра, 100 сообщений в день. Скажем, каждый ход отправляет 3000 токенов истории и получает обратно 300 токенов. Входные данные за ход: 3000 по $0,15 за 1M — это $0,00045. Выход: 300 по $0,50 за 1M — это $0,00015. Это $0,0006 за ход, $0,06 за 100 ходов, около $1,80 за 30 дней.
- Проект по написанию текстов. 5M входных токенов и 1M выходных токенов в месяц — это $0,75 плюс $0,50, итого $1,25.
- Небольшое приложение. 200M входных и 40M выходных токенов в месяц — это $30 плюс $20, итого $50.
Только вы можете оценить стоимость своей видеокарты, но при лёгком и среднем использовании хостинг стоит очень недорого. Минимальное пополнение на $20 хватает надолго на первых двух уровнях, и баланс не сгорает, поэтому он не исчезнет, если вы сделаете перерыв на месяц. Более крупные пополнения дают бонус: 5% от $50, 10% от $100, 15% от $200. Полные детали указаны на странице цен.
Разумный способ комбинировать оба
Вам не нужно выбирать один раз. Многие используют небольшую локальную модель для быстрых черновиков и частных заметок, а более длинные или требовательные задачи отправляют на хостинговый эндпоинт. Поскольку обе модели поддерживают формат OpenAI, ваше приложение может хранить два клиентских объекта и маршрутизировать запросы по задачам, как в коде выше.
Когда вы тестируете хостинговую часть, новые пользователи могут получить $0,50 пробного баланса в один клик на странице API-ключа, без карты, по одному на человека, действительный в течение 7 дней. При приведенных выше цифрах за ход это сотни ходов ролевой игры, достаточно для сравнения с вашей лучшей локальной моделью на идентичных промптах. Вы можете создать API-ключ после входа через Google или с помощью электронной почты и пароля. Документация API перечисляет параметры, такие как temperature, top_p, stop и seed, которые передаются, поэтому ваши локальные настройки сэмплирования переносятся.
Несколько ограничений, которые стоит учесть. Пробный ключ позволяет выполнять 2 одновременных запроса и 60 запросов в минуту; полный ключ — 8 и 300 соответственно. Контекстное окно составляет 100 000 токенов, что значительно превышает комфортные возможности большинства локальных установок. И единственное правило, которое не меняется никакими настройками: модель предназначена для законного использования взрослыми и не будет генерировать сексуальный контент с участием несовершеннолетних.
