API LLM không kiểm duyệt cho SillyTavern: Các bước thiết lập

Những gì bạn cần trước khi bắt đầu

Bạn cần ba thứ: một bản cài đặt SillyTavern đang chạy, một khóa API và chi tiết endpoint. SillyTavern là một giao diện trò chuyện tự lưu trữ cho các cuộc hội thoại nhân vật và nhập vai, và nó có thể giao tiếp với bất kỳ dịch vụ nào tuân theo định dạng chat OpenAI. Trang web này cung cấp dịch vụ đó cho việc sử dụng người lớn hợp pháp: tiểu thuyết, nhập vai và ứng dụng bạn đời cho người lớn. Nó sẽ không tạo ra nội dung tình dục liên quan đến người chưa thành niên, và không có cài đặt nào thay đổi điều đó.

Thu thập các giá trị này:

• URL cơ sở: https://api.ornith.top/v1
• ID mô hình: uncensored
• Khóa API: được tạo trên trang khóa API sau khi bạn đăng nhập bằng Google hoặc bằng email và mật khẩu.

Tài khoản mới có thể nhận $0.50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang đó. Không cần thẻ, mỗi người chỉ nhận một lần, và nó hết hạn sau 7 ngày. Điều này đủ để bạn kiểm thử một thẻ nhân vật, vì một lượt trò chuyện điển hình chỉ tốn một phần nhỏ của một cent (phép tính ở phía dưới).

Kiểm tra khóa với curl trước

Trước khi chạm vào SillyTavern, hãy gửi một yêu cầu từ terminal. Nếu nó hoạt động, mọi lỗi sau đó là do cài đặt giao diện; nếu nó thất bại, vấn đề là khóa hoặc mạng.

Copycurl https://api.ornith.top/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in one short sentence."}]
  }'

Bạn sẽ nhận được JSON với mảng choices. Hãy xem các tiêu đề phản hồi: X-Balance-USD hiển thị tín dụng còn lại của bạn, và X-Request-Id là thứ bạn nên trích dẫn nếu bạn liên hệ hỗ trợ. Bạn cũng có thể liệt kê các mô hình bằng GET /v1/models:

Copycurl https://api.ornith.top/v1/models \
  -H "Authorization: Bearer $API_KEY"

Danh sách hiển thị model ID để sử dụng trong SillyTavern, đó là uncensored.

Kết nối SillyTavern từng bước một

1. Mở SillyTavern và nhấp vào biểu tượng ổ cắm ở trên cùng để mở API Connections.
2. Trong menu thả xuống API, chọn Chat Completion.
3. Trong menu thả xuống Chat Completion Source, chọn Custom (OpenAI-compatible).
4. Trong Custom Endpoint (Base URL), nhập https://api.ornith.top/v1. Dừng lại ở /v1. Không thêm /chat/completions, vì ứng dụng khách tự thêm đường dẫn đó.
5. Dán khóa của bạn vào trường Custom API Key.
6. Trong mục Model ID, hãy nhập uncensored.
7. Nhấn Kết nối. Trạng thái màu xanh lá cây với tên mô hình có nghĩa là quá trình bắt tay đã thành công.

Nhãn menu thay đổi nhẹ giữa các phiên bản SillyTavern, vì vậy nếu một tên khác biệt trên phiên bản của bạn, hãy tìm cùng một ý tưởng: một nguồn tương thích OpenAI tùy chỉnh, một trường endpoint, một trường khóa và một trường model. Nếu Connect thất bại, hãy lặp lại kiểm tra curl. Lỗi xác thực từ curl nghĩa là khóa sai; curl hoạt động nhưng Connect thất bại thường nghĩa là lỗi gõ phím trong URL, chẳng hạn như thiếu /v1 hoặc đường dẫn đuôi.

Sau khi kết nối, mở bất kỳ thẻ nhân vật nào và gửi một tin nhắn. Nếu bạn thấy phản hồi, tích hợp hoạt động. Phần còn lại là tinh chỉnh.

Các cài đặt quan trọng cho nhập vai

Kích thước cửa sổ ngữ cảnh

Mô hình có cửa sổ ngữ cảnh 100.000 token, tính cả prompt và câu trả lời lại với nhau. Trong SillyTavern, thanh trượt kích thước ngữ cảnh kiểm soát lượng lịch sử, thẻ nhân vật và văn bản lorebook được gửi trong mỗi lượt. Giá trị lớn hơn nghĩa là nhân vật nhớ được nhiều hơn và mỗi yêu cầu tốn nhiều tiền hơn, vì bạn trả tiền cho việc sử dụng token đầu vào trong mỗi lượt. Điểm bắt đầu tốt là một giá trị vừa phải như 16.000 đến 32.000 token, chỉ tăng lên nếu các cuộc trò chuyện của bạn đủ dài để cần đến nó. Cài đặt chiều dài phản hồi ánh xạ sang max_tokens, tùy chọn trên API này; hãy đặt một giá trị nếu bạn muốn câu trả lời ngắn hơn.

Truyền phát

Bật streaming trong cài đặt Chat Completion. API hỗ trợ SSE với stream: true, vì vậy văn bản xuất hiện khi nó được tạo và bạn có thể dừng một phản hồi xấu sớm. Lượng sử dụng được báo cáo ở cuối luồng.

Lấy mẫu

Nhiệt độ, top_p, trình tự dừng, hạt và các hình phạt tần suất và hiện diện được chuyển tiếp đến mô hình. Đối với trò chuyện sáng tạo, nhiệt độ khoảng 0.8 đến 1.0 với top_p gần 0.9 là điểm bắt đầu phổ biến. Nếu phản hồi lan man hoặc lặp lại, hãy giảm nhiệt độ một chút và thêm một hình phạt tần suất nhỏ. Thay đổi một cài đặt một lúc để bạn có thể thấy hiệu ứng của nó.

Prompt hệ thống và thẻ của bạn

Mô hình được tinh chỉnh để trả lời mà không từ chối nội dung, vì vậy chất lượng cảnh phụ thuộc vào prompt và thẻ nhân vật của bạn. Một vai trò rõ ràng, bối cảnh, giọng điệu và một vài dòng hội thoại ví dụ làm nhiều hơn bất kỳ điều chỉnh lấy mẫu nào. Nếu bạn viết cho người đọc người lớn, hãy giữ bối cảnh rõ ràng về tuổi tác: mọi nhân vật nên là người lớn.

Chi phí mỗi tin nhắn, tính toán chi tiết

Giá là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, từ tín dụng trả trước không có đăng ký. Vì SillyTavern gửi lại thẻ và lịch sử trên mỗi lượt, token đầu vào chiếm phần lớn chi phí.

Giả sử một lượt trò chuyện gửi 6.000 token ngữ cảnh và nhận lại 400 token:

• Đầu vào: 6.000 ở $0.15 cho mỗi 1M là $0.0009.
• Đầu ra: 400 ở $0.50 cho mỗi 1M là $0.0002.
• Tổng cộng: $0.0011 mỗi lượt.

Một phiên 200 lượt tốn $0.22. Tín dụng dùng thử $0.50 bao gồm khoảng 450 lượt như vậy. Các yêu cầu bị lỗi hoặc bị từ chối không bị tính phí. Khi bạn nạp tiền, bất kỳ số tiền nguyên nào từ $20 đến $500 đều được, với +5% từ $50, +10% từ $100 và +15% từ $200, bằng thẻ (Visa, Mastercard, Apple Pay, Google Pay) hoặc tiền mã hóa (USDT trên TRC20, USDC trên Base). Tín dụng không bao giờ hết hạn. Trang giá cả có chi tiết.

Khắc phục các lỗi thường gặp

Triệu chứng	Nguyên nhân có thể	Cách khắc phục
Kết nối thất bại ngay lập tức	Base URL hoặc khóa sai	Sử dụng https://api.ornith.top/v1 không có đường dẫn đuôi; lặp lại kiểm thử curl
HTTP 429, mã rate_limited	Quá nhiều yêu cầu mỗi phút	Giảm tốc độ; khóa dùng thử cho phép 60 yêu cầu mỗi phút, khóa đầy đủ cho phép 300
HTTP 429, mã concurrency	Quá nhiều yêu cầu cùng một lúc	Chờ phản hồi hoàn tất; khóa dùng thử cho phép 2 cùng lúc, khóa đầy đủ 8
HTTP 429 với Retry-After: 5	Quá tải tạm thời	Thử lại sau 5 giây
Yêu cầu quá lớn	Thân yêu cầu vượt quá 8 MB	Giảm kích thước ngữ cảnh hoặc cắt bớt sách kiến thức
Ngữ cảnh quá dài	Prompt cộng câu trả lời trên 100.000 token	Giảm kích thước ngữ cảnh hoặc độ dài phản hồi

Một chi tiết khiến mọi người gặp khó khăn trong các cuộc trò chuyện nhóm và với các tính năng chạy các cuộc gọi nền bổ sung: một yêu cầu truyền phát giữ slot đồng thời của nó cho đến khi luồng kết thúc. Nếu SillyTavern gửi một câu trả lời, một bản tóm tắt và một công việc chú thích ảnh cùng một lúc, một khóa dùng thử với 2 slot sẽ từ chối yêu cầu thứ ba. Khóa đầy đủ cho phép 8. Vô hiệu hóa các tính năng bổ sung mà bạn không cần, hoặc chia nhỏ thời gian giữa chúng.

Đối với tất cả các tham số và cấu trúc lỗi chính xác, hãy đọc tài liệu API.

Hướng dẫn khác

• LLM Uncensored: Ý nghĩa và Cách sử dụng một cái
• LLM Uncensored tốt nhất để chạy cục bộ với Ollama
• Hướng dẫn API LLM mã nguồn mở: Thiết lập, Chi phí và Các lựa chọn thay thế