Wichtige Punkte
- Das beste lokale Modell ist das größte, das bei einer nutzbaren Geschwindigkeit in deinen VRAM passt, nicht das mit dem besten Ruf.
- Ollama stellt einen OpenAI-kompatiblen Endpunkt auf deiner eigenen Maschine bereit, sodass derselbe Client-Code lokal und gehostet funktioniert.
- Lokal bietet Privatsphäre und Offline-Nutzung; gehostet bietet ein größeres Modell, keine Hardware und keine Einrichtung.
- Wir bieten nur einen gehosteten Endpunkt an: Es gibt keinen Modell-Download von diesem Dienst.
Kurze Antwort: Wähle nach Speicher, dann teste zwei oder drei
Es gibt kein einzelnes bestes Modell dafür, da die Grenze deine Hardware ist. Ein Modell muss zusammen mit seinem Arbeits-Cache in den GPU-Speicher (oder viel langsamer in den RAM) passen. Die praktische Regel ist einfach: Finde das größte Modell, das bequem in deinen Speicher passt und immer noch mit einer Geschwindigkeit antwortet, mit der du leben kannst, und vergleiche dann zwei oder drei Kandidaten mit deinen eigenen Prompts.
Modellnamen und Ranglisten ändern sich alle paar Wochen, daher altert jede heute erstellte Liste schnell. Überspringe die Ranglisten und verwende eine kurze Methode: Durchsuche die Ollama-Bibliothek und Community-Uploads, filtere nach Modellen, die als unzensiert, ablatiert oder für Rollenspiele feinabgestimmt beschrieben werden, ziehe ein kleines und ein mittelgroßes Modell herunter und führe dieselben zehn Prompts für jedes Modell aus. Deine eigenen Prompts sagen dir mehr aus als ein Score auf einer Benchmark von jemand anderem.
Wenn du nach dem Test feststellst, dass die Modelle, die auf deiner Maschine passen, für die gewünschte Qualität zu klein sind, ist ein gehosteter Endpunkt die Alternative. Der Rest dieser Seite legt die Abwägung offen, damit du die Entscheidung mit Zahlen treffen kannst.
Modellgröße für deine Maschine bemessen
Drei Zahlen entscheiden, was gut läuft: Parameteranzahl, Quantisierung und Kontextlänge.
Parameter und Quantisierung
Ein Modell mit mehr Parametern schreibt im Allgemeinen besser, hält Anweisungen zuverlässiger ein und hält eine Figur länger durch. Aber Parameter benötigen Speicher. Bei voller 16-Bit-Genauigkeit benötigt ein Modell etwa zwei Bytes pro Parameter, sodass ein 7B-Modell etwa 14 GB benötigt, bevor jeglicher Cache hinzugefügt wird. Quantisierung reduziert das. Eine 4-Bit-Version benötigt etwa ein halbes Byte pro Parameter, sodass das gleiche 7B-Modell in etwa 4 bis 5 GB passt. Die Qualität sinkt mit jedem Schritt nach unten, und der Verlust ist bei 4 bis 5 Bit meist gering und darunter spürbar.
Kontextlänge
Das Kontextfenster kostet ebenfalls Speicher, da das Modell einen Cache von allem in der Konversation speichert. Eine lange Roleplay-Sitzung oder eine Geschichte mit viel früherem Text benötigt einen größeren Cache. Ollama ermöglicht es, die Kontextgröße pro Modell einzustellen, und ein größerer Wert verbraucht mehr Speicher und verlangsamt die Generierung. Viele lokale Setups laufen mit einem Fenster aus einigen tausend Token, um schnell zu bleiben, was bedeutet, dass das Modell den Anfang langer Chats vergisst.
Geschwindigkeit
Wenn ein Modell aus dem GPU-Speicher in den Systemspeicher ausläuft, kann die Generierung von einem angenehmen Lesetempo auf ein Wort nach dem anderen fallen. Ein kleineres Modell, das vollständig auf der GPU passt, fühlt sich oft besser an als ein größeres, das dies nicht tut, selbst wenn das größere etwas besser schreibt.
Modell in Ollama ausführen und aus Code aufrufen
Sobald Ollama installiert ist, benötigen das Herunterladen und Chatten zwei Befehle, und der genaue Modellname stammt von der Bibliotheksseite, die du gewählt hast:
ollama pull MODEL_NAME
ollama run MODEL_NAMEOllama stellt auch eine OpenAI-kompatible API auf deiner eigenen Maschine bereit, standardmäßig unter http://localhost:11434/v1. Das bedeutet, dass derselbe Client-Code mit einem lokalen oder einem gehosteten Modell kommunizieren kann, und du schaltest, indem du die Basis-URL und den Modellnamen änderst:
from openai import OpenAI
# Local Ollama (the key is ignored but must be non-empty)
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# Hosted endpoint
hosted = OpenAI(base_url="https://api.ornith.top/v1", api_key="YOUR_API_KEY")
def ask(client, model, text):
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": text}],
)
return r.choices[0].message.content
prompt = "Write a tense two-paragraph scene set in an abandoned lighthouse."
print(ask(local, "MODEL_NAME", prompt))
print(ask(hosted, "uncensored", prompt))Das Ausführen beider Modelle mit denselben Prompts ist der schnellste Weg, um die Frage für deinen eigenen Fall zu beantworten. Wenn die lokale Ausgabe gut genug ist, bist du fertig und es kostet dich Strom. Wenn nicht, hast du einen Ausgangswert für das, was du erzielen würdest.
Lokales Ollama versus eine gehostete API
Keine Variante ist in jedem Fall besser. Diese Tabelle beschränkt sich auf das strukturell Wahre jedes Ansatzes.
| Punkt | Lokal mit Ollama | Gehostete API |
|---|---|---|
| Vorabkosten | Deine eigene GPU oder eine Maschine mit ausreichend RAM | Keine; Prepaid-Guthaben ab $20 |
| Betriebskosten | Strom und deine Zeit | $0,15 pro 1 Mio. Input-Token, $0,50 pro 1 Mio. Output-Token |
| Modellgröße | Begrenzt durch deinen Speicher | Ein vom Anbieter gewähltes Modell |
| Funktioniert offline | Ja | Nein, benötigt Internet |
| Daten verlassen deinen Rechner | Nein | Ja, Prompts gehen an den Anbieter; unsere werden nicht zum Training verwendet |
| Modellauswahl | Alles, was du herunterladen kannst | Nur das angebotene |
| Nutzer gleichzeitig | Begrenzt durch deine Hardware | Bis zu 8 parallele Anfragen bei einem vollständigen Schlüssel |
| Einrichtung | Installieren, ziehen, Einstellungen anpassen | Basis-URL und Schlüssel ändern |
Lokal gewinnt bei Datenschutz, Offline-Nutzung und Wahlfreiheit. Wenn dein Text deine Maschine niemals verlassen darf oder du Modelle wöchentlich wechseln möchtest, führe lokal aus. Eine gehostete API gewinnt bei der Einrichtungszeit, daran, dass deine GPU nicht gebunden wird, während du arbeitest, und beim Bedienen einer App mit mehreren Nutzern gleichzeitig.
Es ist auch fair zu sagen, was wir nicht anbieten. Dieser Dienst ist nur ein gehosteter Endpunkt. Es gibt keine herunterladbare Modell-Datei, kein Fine-Tuning und keine Möglichkeit, eigene Gewichte zu verwenden. Wenn du das Modell besitzen möchtest, ist Ollama das richtige Werkzeug, und unser Open-Source-LLM-API-Leitfaden geht die breitere Auswahl an Optionen durch.
Was gehostete Dienste kosten, durchgerechnet
Nutzer gehen oft davon aus, dass ein gehostetes Modell im Vergleich zum kostenlosen lokalen Ausführen teuer ist. Lokal ist nicht kostenlos, wenn man Hardware einrechnet, aber der Vergleich ist mit konkreten Nutzungsszenarien einfacher. Die Preise hier liegen bei $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token.
- Casual Roleplay, 100 Nachrichten pro Tag. Sage, dass jeder Zug 3.000 Token an Historie sendet und 300 Token zurückbekommt. Input pro Zug: 3.000 bei $0,15 pro 1M ergibt $0,00045. Output: 300 bei $0,50 pro 1M ergibt $0,00015. Das sind $0,0006 pro Zug, $0,06 für 100 Züge, etwa $1,80 über 30 Tage.
- Ein Schreibprojekt. 5M Input-Token und 1M Output-Token in einem Monat ergeben $0,75 plus $0,50, also $1,25.
- Eine kleine App. 200M Input und 40M Output-Token pro Monat ergeben $30 plus $20, also $50.
Nur du kannst deine eigene GPU bewerten, aber leichte und mittlere Nutzung kostet sehr wenig gehostet. Das $20-Minimum für die Aufladung deckt eine lange Zeit in den ersten beiden Stufen ab, und Guthaben verfällt nie, also wird es nicht verschwinden, wenn du dir eine Pause gönnst. Größere Aufladungen bringen einen Bonus: 5 % ab $50, 10 % ab $100, 15 % ab $200. Vollständige Details findest du auf der Preisseite.
Ein sinnvoller Weg, beide zu kombinieren
Du musst dich nicht einmalig entscheiden. Viele Nutzer führen ein kleines lokales Modell für schnelle Entwürfe und private Notizen aus und senden längere oder anspruchsvollere Aufgaben an einen gehosteten Endpunkt. Da beide das OpenAI-Format sprechen, kann deine App zwei Client-Objekte halten und nach Aufgabe routen, wie im Code oben.
Wenn du die gehostete Seite testest, können neue Nutzer mit einem Klick auf der API-Schlüssel-Seite $0,50 an Testguthaben beanspruchen, ohne Karte, eine pro Person, gültig für 7 Tage. Bei den oben genannten Kosten pro Turn sind das Hunderte von Roleplay-Turns, genug, um gegen dein bestes lokales Modell bei identischen Prompts zu vergleichen. Du kannst einen API-Schlüssel erstellen nach der Anmeldung mit Google oder mit E-Mail und Passwort. Die API-Dokumentation listet Parameter wie temperature, top_p, stop und seed auf, die durchgereicht werden, sodass deine lokalen Sampling-Einstellungen übernommen werden.
Ein paar Limits, die du planen solltest. Ein Trial-Schlüssel erlaubt 2 parallele Anfragen und 60 Anfragen pro Minute; ein voller Schlüssel erlaubt 8 und 300. Das Kontextfenster beträgt 100.000 Token, weit größer als das, was die meisten lokalen Setups bequem ausführen. Und die eine Regel, die keine Einstellung ändert: Das Modell ist für die rechtmäßige Nutzung durch Erwachsene gedacht und wird keinen sexuellen Inhalt mit Minderjährigen produzieren.
