Bắt đầu nhanh: Nhúng API Tương thích OpenAI

Thay đổi base_url và đặt khóa API

Bước đầu tiên là trỏ SDK của bạn vào điểm cuối của chúng tôi. Sử dụng https://api.whatisopenrouterai.com/v1 làm URL cơ sở của bạn và dán khóa của bạn từ bảng điều khiển. Thay đổi đơn lẻ này chuyển hướng tất cả các lệnh gọi đến mô hình ngôn ngữ lớn không kiểm duyệt của chúng tôi trong khi vẫn giữ nguyên các tiêu đề tương thích với OpenAI tiêu chuẩn của bạn.

• Tạo một khóa qua Google hoặc email.
• Lưu nó vào các biến môi trường của bạn.
• Xác minh khóa hoạt động với một yêu cầu đơn giản.

Copycurl https://api.whatisopenrouterai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Set variable x to five"}]
  }'

Gửi yêu cầu đến /v1/chat/completions

API của chúng tôi chấp nhận các hoàn thành trò chuyện tiêu chuẩn với đầu vào văn bản và trả về đầu ra văn bản. Bạn gửi yêu cầu POST đến /v1/chat/completions endpoint với ID mô hình và lịch sử tin nhắn của bạn. ID mô hình đơn giản là uncensored, tinh chỉnh mô hình để trả lời mà không có từ chối cho nội dung người trưởng thành hợp pháp.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.whatisopenrouterai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Phát trực tiếp token với SSE

Streaming cung cấp phản hồi thời gian thực thông qua Server-Sent Events. Mỗi chunk chứa văn bản một phần, và chunk cuối cùng bao gồm thống kê sử dụng token. Cách tiếp cận này giữ cho giao diện người dùng của bạn phản hồi nhanh trong khi chờ các phản hồi dạng dài hoàn tất.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.whatisopenrouterai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Buộc json_object với response_format

Sử dụng response_format tham số đặt thành {"type": "json_object"} để bắt buộc đầu ra JSON nghiêm ngặt. Điều này đảm bảo việc phân tích dự đoán được cho các ứng dụng của bạn mà không dựa vào mô hình để đoán cấu trúc chính xác mỗi lần.

Sử dụng công cụ và tool_choice

Gọi hàm hoạt động chính xác như API OpenAI tiêu chuẩn. Xác định các công cụ của bạn trong yêu cầu, và mô hình sẽ trả về các đối số có cấu trúc khi thích hợp. Bạn có thể buộc sử dụng công cụ với tool_choice hoặc để mô hình quyết định dựa trên ngữ cảnh.

Kiểm tra các mô hình có sẵn

Truy vấn GET /v1/models để xem mô hình không kiểm duyệt đơn lẻ có sẵn. Điểm cuối này trả về ID mô hình và chi tiết, xác nhận rằng dịch vụ của chúng tôi đang hoạt động và sẵn sàng nhận yêu cầu. Chúng tôi không cung cấp nhiều lựa chọn mô hình, giữ cho việc tích hợp đơn giản và tập trung.

Phát trực tiếp

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)