Tài liệu API Ollama: Tham chiếu Endpoint

Base URL và Xác thực

URL cơ sở cho tất cả các yêu cầu là https://api.ollamaapidocumentation.com/v1. Bạn xác thực bằng một bearer token được truyền trong Authorization header. Khóa của bạn được tạo trên bảng điều khiển và hoạt động ngay lập tức.

• Sử dụng các SDK chính thức của OpenAI hoặc bất kỳ client tương thích nào.
• Đặt URL cơ sở thành giá trị ở trên.
• Đính kèm khóa API của bạn vào tiêu đề.

Xác thực nghiêm ngặt. Nếu khóa bị thiếu hoặc không hợp lệ, API sẽ trả về lỗi 401. Điều này đảm bảo việc sử dụng của bạn được theo dõi chính xác để tính phí.

Endpoint Hoàn thành Trò chuyện: POST /v1/chat/completions

Gửi tin nhắn đến mô hình qua POST /v1/chat/completions. Điểm cuối chấp nhận thân JSON với model field được đặt thành "uncensored" và một messages mảng.

Điểm cuối này xử lý tạo văn bản. Nó không hỗ trợ hình ảnh, âm thanh hoặc video. Bạn có thể phát trực tiếp phản hồi hoặc đợi kết quả đầy đủ.

Lỗi như 402 cho biết tín dụng không đủ. Các yêu cầu được tính phí theo việc sử dụng token thực tế. Việc từ chối do thiếu tín dụng được miễn phí.

Danh sách Mô hình: GET /v1/models

Truy xuất các mô hình khả dụng bằng cách sử dụng GET /v1/models. Điều này trả về một danh sách các đối tượng mô hình. ID mô hình có sẵn duy nhất là "uncensored".

Điểm cuối này giúp xác minh kết nối. Nó xác nhận URL cơ sở là chính xác. Nó cũng hiển thị tên mô hình và loại đối tượng.

Sử dụng điều này để gỡ lỗi các sự cố kết nối trước khi gửi các tải trọng lớn.

Tham số: Nhiệt độ, Top P và Seed

Kiểm soát quá trình sinh văn bản với temperature, top_p, và seed. The seed tham số đảm bảo các đầu ra xác định. Sử dụng nó để gỡ lỗi hoặc kết quả nhất quán.

Đặt temperature giữa 0 và 2. Các giá trị thấp hơn làm cho các phản hồi dễ dự đoán hơn. Các giá trị cao hơn tăng tính ngẫu nhiên. Mô hình top_p tham số lọc token theo xác suất tích lũy.

Các tham số này hoạt động chính xác như API OpenAI. Bạn có thể kết hợp chúng để kiểm soát chính xác phong cách.

Phản hồi luồng và sử dụng token

Bật phát trực tiếp bằng cách đặt stream: true. API trả về Sự kiện gửi qua máy chủ (SSE). Mỗi phần chứa văn bản một phần.

Chunk cuối cùng bao gồm thống kê sử dụng token. Điều này cho phép bạn tính toán chi phí một cách chính xác. Bạn có thể xử lý các token khi chúng được trả về.

Streaming giảm độ trễ cảm nhận. Nó lý tưởng cho các giao diện trò chuyện. Máy chủ đẩy dữ liệu cho đến khi phản hồi hoàn tất.

Giới hạn, Lỗi và Cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh là 100,000 token. Điều này bao gồm cả token đầu vào và đầu ra. Bạn có thể tạo tối đa 16,000 token mỗi yêu cầu. Đầu ra tối đa mặc định là 2,048 token.

Giới hạn tốc độ là 300 yêu cầu mỗi phút. Bạn có thể có 8 yêu cầu đồng thời. Kích thước thân yêu cầu giới hạn ở 8 MB.

Lỗi bao gồm 401 cho khóa không hợp lệ và 429 cho giới hạn tốc độ. Lỗi tín dụng trả về 402. Các lỗi này rõ ràng và có thể xử lý được.

cURL

Copycurl https://api.ollamaapidocumentation.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list files in the current directory"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapidocumentation.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapidocumentation.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phát trực tiếp

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)