最佳可在 Ollama 本地執行的無審查 LLM

簡短答案：根據記憶體選擇，然後測試兩三個

沒有單一的最佳模型，因為限制來自你的硬體。模型必須與工作快取一起放入 GPU 記憶體（或系統 RAM，速度較慢）。實用規則是：找到能舒適放入記憶體且回應速度可接受的最大的模型，然後用你自己的提示詞比較兩三個候選者。

模型名稱與排名每幾週就會變動，因此任何今天寫下的列表都很快會過時。跳過排行榜，使用簡短的方法：瀏覽 Ollama 程式庫與社群上傳內容，篩選被描述為無審查、abliterated或針對角色扮演微調的模型，下載一個小型與一個中型模型，並將相同的十個提示詞分別輸入執行。你自己的提示詞能告訴你的資訊，比別人基準測試上的分數更多。

如果你發現適合你機器的模型對於你想要的品質來說太小，託管端點是替代方案。本頁其餘部分列出了權衡，讓你可以用數字做出決定。

如何為你的機器調整模型大小

三個數字決定運行效果：參數數量、量化和上下文長度。

參數和量化

參數較多的模型通常寫得更好、更可靠地遵循指示，並能更長地保持角色。但參數佔用記憶體。在全 16 位元精度下，模型每個參數需要約兩個位元組，因此 7B 模型在任何快取之前大約需要 14 GB。量化會縮減該數值。4 位元版本每個參數需要約半個位元組，因此相同的 7B 模型大約可放入 4 到 5 GB。品質會隨著每一步下降而略有下降，而在 4 到 5 位元時損失通常很小，低於此則明顯。

上下文長度

上下文視窗也佔用記憶體，因為模型會儲存對話中所有內容的快取。長期的角色扮演會話或包含大量早期文字的敘事需要更大的快取。Ollama 允許你為每個模型設定上下文大小，較大的值會使用更多記憶體並降低生成速度。許多本地設定使用幾千個 token 的視窗以保持快速，這意味著模型會忘記長對話的開頭。

速度

如果模型溢出 GPU 記憶體進入系統 RAM，生成速度可能會從令人愉悅的閱讀速度降至逐字輸出。完全放入 GPU 的較小模型通常比無法完全放入的較大模型感覺更好，即使較大模型寫得稍好。

在 Ollama 中運行模型並從程式碼呼叫

安裝 Ollama 後，拉取和聊天需要兩個命令，確切的模型名稱來自你選擇的庫頁面：

Copyollama pull MODEL_NAME
ollama run MODEL_NAME

Ollama 也在你自己的機器上提供 OpenAI 相容的 API，預設位於 http://localhost:11434/v1。這意味著相同的用戶端程式碼可以與本地模型或託管模型通訊，你可以透過更改 Base URL 和模型名稱來切換：

Copyfrom openai import OpenAI

# Local Ollama (the key is ignored but must be non-empty)
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

# Hosted endpoint
hosted = OpenAI(base_url="https://api.ornith.top/v1", api_key="YOUR_API_KEY")

def ask(client, model, text):
    r = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": text}],
    )
    return r.choices[0].message.content

prompt = "Write a tense two-paragraph scene set in an abandoned lighthouse."
print(ask(local, "MODEL_NAME", prompt))
print(ask(hosted, "uncensored", prompt))

在相同的提示詞上運行兩者是回答你個人情況問題的最快方法。如果本地輸出足夠好，你就完成了，成本僅為電費。如果不行，你就有了你會獲得什麼的基準。

本地 Ollama 與託管 API 的比較 的比較

沒有哪種方式在所有情況下都更好。此表格僅堅持每種方法的結構性事實。

項目	使用 Ollama 的本地運行	託管 API
前期成本	你自己的 GPU 或具有足夠 RAM 的機器	無；預付額度從 $20 起
運行成本	電費與你的時間	每 1M 輸入 token $0.15，每 1M 輸出 token $0.50
模型大小	受你的記憶體限制	由供應商選擇的一個模型
離線可用	是	否，需要網路
資料離開您的機器	否	是的，提示詞會傳送至供應商；我們的提示詞不會用於訓練
模型選擇	你可以下載的任何東西	僅提供其中一個
並行使用者	受你的硬體限制	完整金鑰最多支援 8 個並行請求
設定	安裝、拉取、調整設定	更改 Base URL 和金鑰

本地在隱私、離線使用和選擇自由方面勝出。如果你的文字必須永遠不離開你的機器，或者你想每週更換模型，請在本地運行。託管 API 在設定時間、不佔用你的 GPU 以及同時為多個用戶服務方面勝出。

誠實地說明我們不提供什麼也是公平的。此服務僅為託管端點。沒有可供下載的模型檔案，沒有微調功能，也無法使用你自己的權重。如果你想擁有模型，Ollama 是合適的工具，我們的 開源 LLM API 指南 涵蓋了更廣泛的選項。

託管的成本，逐步計算

人們通常假設託管模型比免費的本地運行昂貴。一旦計算硬體成本，本地並不算免費，但使用具體使用量進行比較更容易。此處價格為每 1M 輸入 token $0.15，每 1M 輸出 token $0.50。

• 休閒角色扮演，每天 100 則訊息。 假設每輪發送 3,000 個 token 的歷史記錄並返回 300 個 token。每輪輸入：3,000 個，每 1M $0.15 為 $0.00045。輸出：300 個，每 1M $0.50 為 $0.00015。每輪 $0.0006，100 輪為 $0.06，30 天約為 $1.80。
• 寫作專案。 每月 5M 輸入 token 和 1M 輸出 token 為 $0.75 加上 $0.50，即 $1.25。
• 小型應用程式。 每月 200M 輸入和 40M 輸出 token 為 $30 加上 $20，即 $50。

只有你能為自己的 GPU 定價，但輕度與中度使用的託管成本非常低。$20 的最低儲值額度在頭兩個等級可以使用很長一段時間，且額度永不失效，因此如果你休息一個月，它也不會消失。較大的儲值附帶獎勵：$50 贈 5%，$100 贈 10%，$200 贈 15%。完整詳情請見 定價頁面。

結合兩者的合理方式

你不必只選擇一次。許多人運行小型本地模型進行快速草稿和私人筆記，並將較長或更耗時的任務發送到託管端點。由於兩者都使用 OpenAI 格式，你的應用程式可以保留兩個用戶端物件並按任務路由，如上所示。

當你測試託管端時，新用戶可以在 API 金鑰頁面上一鍵領取 $0.50 的免費試用額度，無需信用卡，每人一次，有效期為 7 天。按上述每輪費用計算，這可以進行數百次角色扮演回合，足以在相同的提示詞下與你最好的本地模型進行比較。你可以 建立 API 金鑰，透過 Google 或電子郵件和密碼登入後即可。API 文件列出了 temperature、top_p、stop 和 seed 等參數，這些參數會傳遞，因此你的本地採樣設定會保留。

一些需要規劃的限制。試用金鑰允許 2 個並行請求和每分鐘 60 個請求；完整金鑰允許 8 個和 300 個。上下文視窗為 100,000 個 token，遠大於大多數本地設定舒適運行的範圍。還有一條無法透過設定改變的規則：該模型用於合法的成人用途，不會產生涉及未成年人的性內容。

更多指南

• 無審查 LLM：含義與使用方法
• SillyTavern 的無審查 LLM API：設定步驟
• 開源 LLM API 指南：設定、成本和替代方案