Dokumentace k Ollama API: Reference koncových bodů

Základní URL a ověření

Základní URL pro všechny požadavky je https://api.ollamaapidocumentation.com/v1. Ověřujete platnost pomocí bearer tokenu předaného v Authorization hlavička. Váš klíč je vygenerován na ovládacím panelu a funguje ihned.

• Použijte oficiální SDK od OpenAI nebo kompatibilního klienta.
• Nastavte základní URL na hodnotu výše.
• Zadejte svůj klíč API do hlavičky.

Ověření je přísné. Pokud chybí klíč nebo je neplatný, API vrací chybu 401. To zajišťuje přesné sledování vašeho využití pro fakturaci.

Endpoint Chat Completions: POST /v1/chat/completions

Pošlete zprávy do modelu přes POST /v1/chat/completions. Endpoint přijímá JSON tělo s model pole nastaveno na "uncensored" a messages pole.

Tento endpoint zpracovává generování textu. Nepodporuje obrázky, audio ani video. Můžete streamovat odpovědi nebo čekat na celý výsledek.

Chyby jako 402 označují nedostatek kreditu. Požadavky jsou účtovány podle skutečného použití tokenů. Odmítnutí způsobené nedostatkem kreditu je zdarma.

Výpis modelů: GET /v1/models

Načtěte dostupné modely pomocí GET /v1/models.Tohle vrací seznam objektů modelů. Jediný dostupný ID modelu je "uncensored".

Tento endpoint pomáhá ověřit připojení. Potvrzuje, že základní URL je správná. Také zobrazuje název modelu a typ objektu.

Použijte toto k ladění problémů s připojením před odesláním velkých dat.

Parametry: Teplota, Top P, Seed

Ovládejte generování pomocí temperature, top_p, a seed. The seed parameter zajišťuje deterministické výstupy. Použijte jej pro ladění nebo konzistentní výsledky.

Nastavit temperature mezi 0 a 2. Nižší hodnoty činí odpovědi předvídatelnějšími. Vyšší hodnoty zvyšují náhodnost. The top_p parameter filtruje tokeny podle kumulativní pravděpodobnosti.

Tyto parametry fungují přesně jako API OpenAI. Můžete je kombinovat pro přesnou kontrolu nad stylem.

Streamované odpovědi a spotřeba tokenů

Povolte streamování nastavením stream: true. API vrací Server-Sent Events (SSE). Každá část obsahuje částečný text.

Poslední chunk zahrnuje statistiky využití tokenů. To vám umožňuje přesně vypočítat náklady. Tokeny můžete zpracovávat, jak přicházejí.

Streamování snižuje vnímanou latenci. Je ideální pro chatová rozhraní. Server odesílá data, dokud není odpověď kompletní.

Limity, chyby a kontextové okno

Okno kontextu má 100 000 tokenů. To zahrnuje kombinaci vstupních a výstupních tokenů. Na požadavek můžete vygenerovat až 16 000 tokenů. Výchozí maximální výstup je 2 048 tokenů.

Limity rychlosti jsou 300 požadavků za minutu. Můžete mít 8 současných požadavků. Velikost těla požadavku je omezena na 8 MB.

Chyby zahrnují 401 pro neplatné klíče a 429 pro limity rychlosti. Chyby týkající se kreditu vracejí 402. Tyto chyby jsou jasné a řešitelné.

cURL

Copycurl https://api.ollamaapidocumentation.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list files in the current directory"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapidocumentation.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapidocumentation.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamování

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)