RU ▾

openaiapiproxy.comПрокси API OpenAI на Python: настройка и примеры

Прокси API OpenAI на Python: настройка и примеры

Для проекта на Python с прокси API OpenAI вы используете официальный пакет openai и изменяете два аргумента конструктора: base_url и api_key. Остальная часть этой страницы охватывает потоковую передачу, асинхронность, инструменты, повторные попытки и управление бюджетом.

Обновлено

Стеклянный терминал с лентой света, текущей к кубу, иллюстрирующий вызов прокси API кодом Python

Ключевые моменты

  • Установите openai, затем создайте OpenAI(base_url=..., api_key=...) с установленной моделью uncensored.
  • Потоковая передача, JSON-режим и вызов инструментов используют стандартные параметры, а асинхронность работает так же.
  • Ограничьте параллелизм до 8 с помощью семафора и позвольте SDK повторять попытки при ответе 429.
  • Читайте заголовок X-Balance-USD из сырых заголовков ответа, чтобы отслеживать свой предоплаченный баланс из кода.

Минимальный рабочий пример

Вот кратчайшая полезная настройка прокси api openai python. Она предполагает Python 3.9 или новее, ключ со страницы API-ключ, пакет установлен с помощью pip install openai, а ключ экспортирован как UNCENSORED_API_KEY.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.openaiapiproxy.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me a one-line product tagline for a hiking app."}],
    temperature=0.8,
    max_tokens=60,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Эндпоинт совместим с OpenAI, но это отдельный сервис. Это не официальный API OpenAI или другого поставщика; он предоставляет одну модель, uncensored. Доступны только два маршрута: POST /v1/chat/completions и GET /v1/models, поэтому используйте интерфейс чата SDK.

Несколько замечаний по коду. Ключ берётся из переменной окружения, а не из литерала, поэтому он не попадает в систему контроля версий. Объект usage в ответе содержит точные подсчёты токенов, на основе которых формируется счёт, что полезно для логирования. max_tokens необязателен: если его не указать, генерация может использовать оставшееся контекстное окно, что допустимо для историй, но дорого при ошибке в цикле.

Потоковая передача токенов по мере поступления

Потоковая передача использует серверные события (SSE). Передайте stream=True и итерируйте по чанкам. В последней части потока содержится информация об использовании токенов, поэтому проверяйте чанки на наличие choices.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell a two-paragraph ghost story."}],
    stream=True,
)

usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        usage = chunk.usage
print()
if usage:
    print("tokens:", usage.prompt_tokens, usage.completion_tokens)

Операционная деталь: потоковый запрос занимает один слот параллельных запросов до завершения потока. Если ваш код прерывает цикл, закройте поток (stream.close()), чтобы освободить слот.

Веб-приложение обычно оборачивает этот цикл в генератор и передаёт каждую часть браузеру. С FastAPI это означает возврат StreamingResponse, который генерирует текстовые части. В такой схеме ключ хранится на сервере. Браузер общается с вашим маршрутом, а маршрут — с API, поэтому ключ никогда не попадает в клиентский код.

Асинхронные клиенты и контролируемый параллелизм

Полный ключ позволяет 8 запросов одновременно и 300 в минуту. Пробный ключ — 2 и 60. Если вы запустите 200 корутин через asyncio.gather, вы получите ошибки 429 с кодом concurrency. Семафор решает это до возникновения ошибки.

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
gate = asyncio.Semaphore(8)

async def ask(prompt: str) -> str:
    async with gate:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Write a title for chapter {i} of a sea adventure." for i in range(1, 41)]
    results = await asyncio.gather(*(ask(p) for p in prompts))
    for t in results:
        print(t)

asyncio.run(main())

Используйте размер семафора 2, пока вы на пробном ключе. SDK по умолчанию повторяет запросы с ошибкой 429 с экспоненциальной задержкой, а параметр max_retries увеличивает количество попыток. При временной перегрузке сервис отвечает 429 с заголовком Retry-After: 5, который SDK учитывает.

Семафор ограничивает только запросы в полете внутри одного процесса. Если вы запускаете несколько рабочих процессов, разделите лимит между ними: с полным ключом четыре рабочих процесса должны использовать семафор по 2 каждый. Лимит 300 в минуту общий для всех, поэтому очередь с постоянной скоростью лучше, чем всплеск для больших автономных задач. Лимит тела 8 МБ редко является проблемой для чата, но он применяется к каждому запросу.

JSON-режим и вызовы инструментов

Оба режима работают через стандартные параметры. Для JSON-режима установите response_format и запросите JSON в промпте.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Return JSON with keys name, mood and hook."},
        {"role": "user", "content": "Invent a tavern keeper for a fantasy game."},
    ],
)
npc = json.loads(r.choices[0].message.content)
print(npc["name"])

Вызов функций требует дополнительного шага: вы выполняете функцию самостоятельно и возвращаете результат в сообщении типа tool.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides.",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a twenty-sided die for me."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    sides = json.loads(call.function.arguments)["sides"]
    messages.append(msg)
    messages.append({"role": "tool", "tool_call_id": call.id, "content": "14"})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Значение для кубика здесь жёстко задано для краткости. В реальном коде вызовите вашу функцию с параметром sides и отправьте её результат.

Ещё два нюанса по инструментам. Используйте tool_choice, когда нужно принудительно вызвать конкретную функцию, а не позволять модели выбрать её самостоятельно. Описания инструментов должны быть точными: модель выбирает функцию по имени и описанию, поэтому «Бросить кубик с указанным количеством граней» работает лучше, чем просто «кубик». Если ответ содержит несколько вызовов функций, выполните их все и добавьте одно сообщение tool для каждого ID вызова перед запросом финального ответа.

Ошибки, повторные попытки и история разговора

SDK генерирует типизированные исключения, что упрощает обработку ошибок. Ошибка 429 вызывает openai.RateLimitError, сбой сети — openai.APIConnectionError, другие ошибки статуса — openai.APIStatusError. SDK уже выполнил повторные попытки, прежде чем вы увидите первое исключение, поэтому в ваш код попадает запрос, который неудачно повторён многократно.

import time
import openai
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=2)

def chat(messages, attempts=4):
    delay = 2.0
    for n in range(attempts):
        try:
            r = client.chat.completions.create(model="uncensored", messages=messages)
            return r.choices[0].message.content
        except openai.RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay *= 2
        except openai.APIConnectionError:
            time.sleep(delay)
            delay *= 2
    raise RuntimeError("gave up after repeated failures")

print(chat([{"role": "user", "content": "Name a color."}]))

Код считывает заголовок Retry-After, когда сервис его отправляет, что происходит при временной перегрузке (значение равно 5 секундам). Если заголовок отсутствует, он использует собственную схему задержки. Обратите внимание: цикл не перехватывает все ошибки; плохой запрос не будет исправлен повторной попыткой, поэтому позвольте ему распространиться.

История разговора — это другой элемент состояния. API не хранит его за вас, поэтому ваш код владеет списком сообщений. Простая политика, которая хорошо работает: сохраните системное сообщение, сохраните последние N ходов, и когда общий объем превышает выбранный вами размер, попросите модель суммировать самую старую часть в одно короткое сообщение.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

def compact(history, keep=6):
    system, rest = history[0], history[1:]
    if len(rest) <= keep:
        return history
    old, recent = rest[:-keep], rest[-keep:]
    text = "\n".join(m["role"] + ": " + m["content"] for m in old)
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": "Summarize this conversation in 120 words:\n" + text}],
        max_tokens=250,
    )
    summary = {"role": "system", "content": "Earlier in this conversation: " + r.choices[0].message.content}
    return [system, summary] + recent

Суммаризация тоже стоит токенов, но она окупает себя: разговор, который в противном случае пересылал бы 20 000 токенов на каждом ходу, сокращается до нескольких тысяч.

Чтение баланса и идентификатора запроса

Каждый ответ включает заголовки X-Request-Id и X-Balance-USD. SDK скрывает заголовки по умолчанию, но префикс with_raw_response делает их доступными, сохраняя распарсенный объект.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("X-Request-Id"))
print("balance USD:", raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Логируйте ID запроса при каждой ошибке. Если вам нужно связаться с командой через страницу поддержки, этот ID укажет на конкретный вызов.

Заголовок баланса полезен не только для ведения журнала. Запланированная задача может читать его после каждой партии и останавливаться, когда кредит падает ниже установленного вами порога, или отправлять вам сообщение, чтобы вы могли пополнить его, прежде чем пользователи заметят. Кредит никогда не сгорает, поэтому нет давления, чтобы потратить его. Пополнения — это целые суммы от $20 до $500, поэтому вы можете пополнить большими шагами, если предпочитаете.

Без SDK: requests или httpx

Если вы предпочитаете избежать зависимости, API достаточно прост для обычного HTTP-клиента.

import requests

r = requests.post(
    "https://api.openaiapiproxy.com/v1/chat/completions",
    headers={"Authorization": "Bearer YOUR_KEY"},
    json={
        "model": "uncensored",
        "messages": [{"role": "user", "content": "Name three sea shanty topics."}],
    },
    timeout=120,
)
r.raise_for_status()
print(r.json()["choices"][0]["message"]["content"])

Установите щедрый тайм-аут для длинных завершений. Модель может использовать столько окна в 100 000 токенов, сколько оставит свободным промпт, поэтому запрос без ограничений для длинной прозы может занять много времени.

Тот же подход работает для потоковой передачи. Добавьте "stream": true в тело JSON, передайте stream=True в requests.post и читайте ответ через iter_lines(). Каждая строка события начинается с data: , за которым следует JSON, а поток заканчивается маркером data: [DONE]. Парсинг вручную — хорошее упражнение, но для продакшн-кода SDK делает это с меньшим количеством граничных случаев, таких как частичные строки и переподключения.

Управление бюджетом внутри вашего кода Python

Подсчёт токенов в resp.usage позволяет вычислить стоимость каждого вызова. Цена составляет $0.15 за 1M входных токенов и $0.50 за 1M выходных токенов.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

def cost_usd(prompt_tokens: int, completion_tokens: int) -> float:
    return prompt_tokens * 0.15 / 1_000_000 + completion_tokens * 0.50 / 1_000_000

r = client.chat.completions.create(model="uncensored", messages=[{"role": "user", "content": "Hi"}])
print(cost_usd(r.usage.prompt_tokens, r.usage.completion_tokens))
print(cost_usd(1_000_000, 200_000))  # 0.25

Вторая строка проверяется вручную: 1M входных токенов стоят $0.15, а 200 000 выходных токенов стоят 0,2 x $0,50 = $0,10, что в сумме даёт $0,25. Ошибочные или отклонённые запросы не оплачиваются, поэтому их не нужно вычитать. Пополнение начинается с $20, а на странице цен указаны бонусы при пополнении на $50, $100 и $200.

Полный список параметров и кодов ошибок см. в документации.

Ведите накопительный итог в рамках задачи, чтобы цикл не потратил больше, чем вы запланировали. Пакетная задача по классификации 50 000 коротких текстов по 400 входных токенов и 20 выходных токенов на каждый использует 20 млн входных токенов и 1 млн выходных токенов. Это стоит 20 x $0,15 + 1 x $0,50 = $3,50. Если ваш счётчик показывает, что задача потребляет в два раза больше, что-то зациклилось.

Вопросы и ответы

Нужен ли специальный пакет Python?

Нет. Достаточно официального пакета openai. Установите base_url и api_key в клиенте и используйте имя модели uncensored.

Работает ли асинхронный клиент?

Да. AsyncOpenAI принимает те же аргументы. Ограничьте конкурентность до 8 запросов для полного ключа или до 2 для пробного ключа.

Как увидеть оставшийся кредит из кода?

Прочитайте заголовок ответа X-Balance-USD. В пакете openai используйте with_raw_response, а затем прочитайте raw.headers.

Что происходит при ошибке 429?

Код ошибки rate_limited или concurrency указывает, какой лимит вы превысили. SDK по умолчанию выполняет повторные попытки, а при временной перегрузке отправляется заголовок Retry-After.

Ваш ключ — в одном шаге от получения

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ