VI ▾

openaiapiproxy.comProxy API OpenAI trong Python: Cài đặt và Ví dụ

Proxy API OpenAI trong Python: Cài đặt và Ví dụ

Đối với dự án proxy api openai python, bạn giữ gói openai chính thức và thay đổi hai đối số khởi tạo: base_url và api_key. Phần còn lại của trang này đề cập đến streaming, async, công cụ, thử lại và quản lý ngân sách.

Cập nhật

Một terminal kính với dải ánh sáng chảy về phía một khối lập phương, minh họa mã Python gọi proxy API

Điểm chính

  • Cài đặt openai, sau đó tạo OpenAI(base_url=..., api_key=...) với mô hình được đặt là uncensored.
  • Streaming, chế độ JSON và gọi hàm sử dụng các tham số tiêu chuẩn, và async hoạt động tương tự.
  • Giới hạn độ đồng thời ở 8 bằng semaphore và để SDK thử lại các phản hồi 429.
  • Đọc X-Balance-USD từ header phản hồi thô để theo dõi tín dụng của bạn từ mã.

Ví dụ hoạt động tối thiểu

Dưới đây là cấu hình proxy API openai ngắn gọn nhất bằng Python. Nó giả định Python 3.9 trở lên, một khóa từ trang khóa API, gói đã được cài đặt bằng pip install openai và khóa được xuất dưới dạng UNCENSORED_API_KEY.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.openaiapiproxy.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me a one-line product tagline for a hiking app."}],
    temperature=0.8,
    max_tokens=60,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Endpoint tương thích OpenAI, nhưng đây là dịch vụ riêng. Nó không phải API chính thức của OpenAI hoặc nhà cung cấp khác, và nó lưu trữ một mô hình, uncensored. Chỉ có hai route: POST /v1/chat/completions và GET /v1/models, vì vậy hãy dùng giao diện hoàn thành hội thoại của SDK.

Một số lưu ý về mã đó. Khóa đến từ biến môi trường thay vì giá trị cố định, nên nó không bao giờ nằm trong kiểm soát phiên bản. Đối tượng usage trên phản hồi chứa số lượng token chính xác mà hóa đơn dựa trên đó, rất hữu ích cho việc ghi log. Và max_tokens là tùy chọn: bỏ qua nó và phần hoàn thành có thể sử dụng phần còn lại của cửa sổ, điều này ổn cho truyện nhưng tốn kém cho vòng lặp có lỗi.

Truyền phát token khi chúng đến

Streaming sử dụng sự kiện gửi bởi máy chủ. Truyền stream=True và lặp qua các chunk. Phần cuối của luồng chứa sử dụng token, vì vậy hãy bảo vệ các chunk không có lựa chọn.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell a two-paragraph ghost story."}],
    stream=True,
)

usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        usage = chunk.usage
print()
if usage:
    print("tokens:", usage.prompt_tokens, usage.completion_tokens)

Một chi tiết vận hành: lệnh gọi streaming chiếm một trong các khe đồng thời của bạn cho đến khi luồng kết thúc. Nếu mã của bạn thoát khỏi vòng lặp sớm, hãy đóng luồng (stream.close()) để giải phóng khe.

Ứng dụng web thường bao gồm vòng lặp này trong một generator và chuyển tiếp từng phần đến trình duyệt. Với FastAPI, điều đó có nghĩa là trả về một StreamingResponse tạo ra các phần văn bản. Giữ khóa trên máy chủ trong thiết kế đó. Trình duyệt nói chuyện với route của bạn, và route của bạn nói chuyện với API, vì vậy khóa không bao giờ được tiết lộ cho mã client.

Client async và kiểm soát độ đồng thời

Khóa đầy đủ cho phép 8 yêu cầu cùng lúc và 300 mỗi phút. Khóa dùng thử cho phép 2 và 60. Nếu bạn kích hoạt 200 coroutine với asyncio.gather, bạn sẽ thu thập lỗi 429 với mã concurrency. Semaphore khắc phục điều đó trước khi nó xảy ra.

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
gate = asyncio.Semaphore(8)

async def ask(prompt: str) -> str:
    async with gate:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Write a title for chapter {i} of a sea adventure." for i in range(1, 41)]
    results = await asyncio.gather(*(ask(p) for p in prompts))
    for t in results:
        print(t)

asyncio.run(main())

Sử dụng 2 làm kích thước semaphore khi bạn đang dùng khóa dùng thử. SDK thử lại các phản hồi 429 với backoff theo mặc định, và max_retries tăng số lần thử. Khi quá tải tạm thời, dịch vụ trả về 429 với Retry-After: 5, mà SDK tôn trọng.

Semaphore chỉ giới hạn các yêu cầu đang chạy trong một quy trình. Nếu bạn chạy nhiều worker, hãy chia giới hạn giữa chúng: với khóa đầy đủ, bốn worker nên mỗi cái sử dụng semaphore là 2. Giới hạn mỗi phút là 300 được chia sẻ bởi tất cả chúng, vì vậy một hàng đợi với tốc độ ổn định tốt hơn một đợt tăng đột biến cho các công việc ngoại tuyến lớn. Giới hạn thân 8 MB hiếm khi là vấn đề đối với chat, nhưng nó áp dụng cho mọi yêu cầu.

Chế độ JSON và gọi công cụ

Cả hai đều hoạt động thông qua các tham số bình thường. Đối với chế độ JSON, đặt response_format và yêu cầu JSON trong prompt.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Return JSON with keys name, mood and hook."},
        {"role": "user", "content": "Invent a tavern keeper for a fantasy game."},
    ],
)
npc = json.loads(r.choices[0].message.content)
print(npc["name"])

Gọi hàm cần một bước bổ sung: bạn tự thực hiện hàm và trả kết quả dưới dạng thông báo tool.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides.",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a twenty-sided die for me."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    sides = json.loads(call.function.arguments)["sides"]
    messages.append(msg)
    messages.append({"role": "tool", "tool_call_id": call.id, "content": "14"})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Giá trị trả về cho xúc xắc ở đây được mã hóa cứng để ngắn gọn. Trong mã thực tế, gọi hàm của bạn với sides và gửi kết quả của nó.

Hai chi tiết nữa về công cụ. Sử dụng tool_choice khi bạn cần buộc một hàm cụ thể thay vì để mô hình quyết định. Và giữ mô tả công cụ cụ thể: mô hình chọn một hàm chỉ từ tên và mô tả của nó, vì vậy "Lắc một xúc xắc với số mặt cho trước" hoạt động tốt hơn "xúc xắc". Nếu một phản hồi chứa nhiều lệnh gọi công cụ, hãy chạy tất cả chúng và thêm một thông báo tool cho mỗi ID lệnh gọi trước khi bạn yêu cầu câu trả lời cuối cùng.

Lỗi, thử lại và lịch sử hội thoại

SDK ném ra các ngoại lệ có kiểu, giúp xử lý lỗi ngắn gọn. Lỗi 429 ném ra openai.RateLimitError, lỗi mạng ném ra openai.APIConnectionError, và các trạng thái không thành công khác ném ra openai.APIStatusError. SDK đã thử lại trước khi bạn thấy cái đầu tiên, vì vậy những gì đạt đến mã của bạn là một lệnh gọi đã thất bại nhiều lần.

import time
import openai
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=2)

def chat(messages, attempts=4):
    delay = 2.0
    for n in range(attempts):
        try:
            r = client.chat.completions.create(model="uncensored", messages=messages)
            return r.choices[0].message.content
        except openai.RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay *= 2
        except openai.APIConnectionError:
            time.sleep(delay)
            delay *= 2
    raise RuntimeError("gave up after repeated failures")

print(chat([{"role": "user", "content": "Name a color."}]))

Mã đọc Retry-After khi dịch vụ gửi nó, điều này xảy ra khi quá tải tạm thời (giá trị là 5 giây). Khi header bị thiếu, nó thực hiện backoff theo lịch trình của riêng nó. Lưu ý rằng vòng lặp không bắt mọi lỗi: yêu cầu sai sẽ không cải thiện khi thử lại, vì vậy hãy để nó lan truyền.

Lịch sử hội thoại là phần trạng thái khác. API không lưu trữ nó cho bạn, vì vậy chương trình của bạn sở hữu danh sách các thông báo. Một chính sách đơn giản hoạt động tốt: giữ thông báo hệ thống, giữ N lượt cuối cùng, và khi tổng tăng lên quá kích thước bạn chọn, hãy yêu cầu mô hình tóm tắt phần cũ nhất thành một thông báo ngắn.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

def compact(history, keep=6):
    system, rest = history[0], history[1:]
    if len(rest) <= keep:
        return history
    old, recent = rest[:-keep], rest[-keep:]
    text = "\n".join(m["role"] + ": " + m["content"] for m in old)
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": "Summarize this conversation in 120 words:\n" + text}],
        max_tokens=250,
    )
    summary = {"role": "system", "content": "Earlier in this conversation: " + r.choices[0].message.content}
    return [system, summary] + recent

Tóm tắt cũng tốn token, nhưng chúng tự trang trải: một hội thoại nếu không sẽ gửi lại 20.000 token trên mỗi lượt giảm xuống còn vài nghìn.

Đọc số dư và ID yêu cầu

Mọi phản hồi đều bao gồm X-Request-Id và X-Balance-USD. SDK ẩn header theo mặc định, nhưng with_raw_response hiển thị chúng trong khi vẫn cung cấp cho bạn đối tượng đã được phân tích.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("X-Request-Id"))
print("balance USD:", raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Ghi log ID yêu cầu với mọi lỗi. Nếu bạn cần liên hệ với nhóm qua trang hỗ trợ, ID đó trỏ trực tiếp đến lệnh gọi.

Tiêu đề số dư hữu ích hơn cả việc ghi log. Một công việc lên lịch có thể đọc nó sau mỗi lô và dừng lại khi tín dụng giảm dưới ngưỡng bạn đặt, hoặc gửi tin nhắn cho bạn để bạn có thể nạp tiền trước khi người dùng nhận ra. Tín dụng không bao giờ hết hạn, nên bạn không bị áp lực phải chi tiêu. Các khoản nạp tiền là các số nguyên từ $20 đến $500, vì vậy bạn có thể nạp lại với các bước lớn hơn nếu muốn.

Không dùng SDK: requests hoặc httpx

Nếu bạn muốn tránh sự phụ thuộc, API đủ đơn giản cho một client HTTP thông thường.

import requests

r = requests.post(
    "https://api.openaiapiproxy.com/v1/chat/completions",
    headers={"Authorization": "Bearer YOUR_KEY"},
    json={
        "model": "uncensored",
        "messages": [{"role": "user", "content": "Name three sea shanty topics."}],
    },
    timeout=120,
)
r.raise_for_status()
print(r.json()["choices"][0]["message"]["content"])

Đặt thời gian chờ hào phóng cho các phần hoàn thành dài. Mô hình có thể sử dụng nhiều nhất của cửa sổ 100.000 token mà prompt để trống, vì vậy một yêu cầu không giới hạn cho tiểu thuyết dài có thể mất một lúc.

Cùng cách tiếp cận hoạt động cho streaming. Thêm "stream": true vào thân JSON, truyền stream=True đến requests.post và đọc phản hồi với iter_lines(). Mỗi dòng sự kiện bắt đầu bằng data: theo sau là JSON, và luồng kết thúc bằng dấu hiệu data: [DONE]. Phân tích cú pháp đó bằng tay là một bài tập học tốt, mặc dù đối với mã sản xuất, SDK làm điều đó với ít trường hợp cạnh hơn, chẳng hạn như các dòng bị cắt ngang và kết nối lại.

Quản lý ngân sách trong mã Python của bạn

Số lượng token trong resp.usage cho phép bạn tính chi tiêu cho mỗi lệnh gọi. Giá là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

def cost_usd(prompt_tokens: int, completion_tokens: int) -> float:
    return prompt_tokens * 0.15 / 1_000_000 + completion_tokens * 0.50 / 1_000_000

r = client.chat.completions.create(model="uncensored", messages=[{"role": "user", "content": "Hi"}])
print(cost_usd(r.usage.prompt_tokens, r.usage.completion_tokens))
print(cost_usd(1_000_000, 200_000))  # 0.25

Dòng thứ hai kiểm tra bằng tay: 1M token đầu vào tốn $0,15 và 200.000 token đầu ra tốn 0,2 x $0,50 = $0,10, điều đó tạo thành $0,25. Các yêu cầu bị lỗi hoặc từ chối không bị tính phí, vì vậy bạn không cần trừ chúng. Nạp tiền bắt đầu từ $20, và trang giá cả liệt kê các khoản bonus ở $50, $100 và $200.

Để biết danh sách tham số đầy đủ và mã lỗi, xem tài liệu.

Hãy duy trì tổng số đã xử lý trong công việc của bạn để vòng lặp không thể tiêu tốn nhiều hơn mức bạn đã lên kế hoạch. Một công việc batch phân loại 50.000 văn bản ngắn, mỗi văn bản có 400 token đầu vào và 20 token đầu ra, sẽ sử dụng 20 triệu token đầu vào và 1 triệu token đầu ra. Chi phí là 20 x $0,15 + 1 x $0,50 = $3,50. Nếu bộ đếm của bạn cho thấy công việc đang ở mức gấp đôi con số đó, có thể có vòng lặp vô hạn.

Hỏi đáp

Tôi có cần một gói Python đặc biệt không?

Không. Gói openai chính thức là đủ. Đặt base_url và api_key trên client và sử dụng tên mô hình uncensored.

Client bất đồng bộ có hoạt động không?

Có. AsyncOpenAI nhận cùng các đối số. Giới hạn độ đồng thời ở 8 yêu cầu trên khóa đầy đủ, hoặc 2 trên khóa dùng thử miễn phí.

Làm cách nào để xem tín dụng còn lại của tôi từ code?

Đọc header phản hồi X-Balance-USD. Trong gói openai, dùng with_raw_response rồi đọc raw.headers.

Điều gì xảy ra khi có lỗi 429?

Mã lỗi rate_limited hoặc concurrency cho bạn biết bạn đã vượt qua giới hạn nào. SDK tự động thử lại theo mặc định, và một tiêu đề Retry-After được gửi khi quá tải tạm thời.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API