TR ▾

openaiapiproxy.comPython ile OpenAI API Proxy: Kurulum ve Örnekler

Python ile OpenAI API Proxy: Kurulum ve Örnekler

Bir openai api proxy python projesi için resmi openai paketini korursunuz ve iki kurucu argümanı değiştirirsiniz: base_url ve api_key. Bu sayfanın geri kalanı akış, asenkron, araçlar, yeniden denemeler ve bütçeleme konularını kapsar.

güncellendi

Python kodunun bir API proxy'sine çağrı yaptığı bir küpün üzerine akan ışık şeridi olan cam bir terminal

Temel noktalar

  • openai paketini yükleyin, ardından modeli uncensored olarak ayarlayarak OpenAI(base_url=..., api_key=...) ile istemci oluşturun.
  • Akış, JSON modu ve fonksiyon çağırma standart parametreleri kullanır ve asenkron kullanım aynı şekilde çalışır.
  • Eşzamanlı istek sayısını bir semafor ile 8 ile sınırlayın ve SDK'nın 429 yanıtlarını yeniden denemesini sağlayın.
  • Kredinizi koddan izlemek için ham yanıt başlıklarından X-Balance-USD'yi okuyun.

Minimal çalışan örnek

İşte en kısa kullanışlı openai api proxy python kurulumu. Python 3.9 veya üzerini, API anahtarı sayfası'ndan alınan bir anahtarı, pip install openai ile yüklenmiş paketi ve UNCENSORED_API_KEY olarak dışa aktarılmış anahtarı varsayar.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.openaiapiproxy.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me a one-line product tagline for a hiking app."}],
    temperature=0.8,
    max_tokens=60,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Uç nokta OpenAI uyumludur ancak ayrı bir hizmettir. OpenAI'nin veya başka bir satıcının resmi API'si değildir ve uncensored adlı tek bir modeli barındırır. Yalnızca POST /v1/chat/completions ve GET /v1/models rotaları bulunur; bu nedenle SDK'nın sohbet tamamlama arayüzünü kullanın.

Bu kod hakkında bazı notlar. Anahtar, sabit bir değer yerine bir ortam değişkeninden gelir; bu nedenle sürüm kontrolüne asla kaydedilmez. Yanıttaki usage nesnesi, faturanın temelini oluşturan kesin token sayılarını içerir ki bu da günlük kaydı için kullanışlıdır. max_tokens isteğe bağlıdır: bu parametreyi belirtmezseniz, tamamlama işlemi pencerenin geri kalanını kullanabilir; bu durum hikayeler için uygundur ancak hatası olan bir döngü için maliyetli olabilir.

Gelen tokenları akış halinde alma

Akış, sunucu tarafından gönderilen olayları kullanır. stream=True parametresini geçin ve parçalar üzerinde yineleme yapın. Akışın son kısmı token kullanımını içerir, bu nedenle seçim içermeyen parçalar için koruma sağlayın.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell a two-paragraph ghost story."}],
    stream=True,
)

usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        usage = chunk.usage
print()
if usage:
    print("tokens:", usage.prompt_tokens, usage.completion_tokens)

Bir iş detayı: akışlı bir çağrı, akış sona erene kadar eşzamanlılık slotlarınızdan birini işgal eder. Kodunuz döngüden erken çıkarsa, slotun serbest bırakılması için akışı kapatın (stream.close()).

Bir web uygulaması genellikle bu döngüyü bir jeneratörle sarar ve her parçayı tarayıcıya iletir. FastAPI ile bu, metin parçalarını üreten bir StreamingResponse döndürmek anlamına gelir. Bu tasarımda anahtarı sunucuda tutun. Tarayıcı rotanıza bağlanır, rotanız API'ye bağlanır, bu nedenle anahtar istemci koduna asla açığa çıkmaz.

Asenkron istemciler ve kontrollü eşzamanlılık

Tam bir anahtar aynı anda 8 istek ve dakikada 300 istek yapmanıza olanak tanır. Bir deneme anahtarı 2 ve 60'a izin verir. asyncio.gather ile 200 eşzamanlı iş başlatırsanız, concurrency koduyla 429 hataları alırsınız. Bir semafor bunu gerçekleşmeden önce çözer.

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
gate = asyncio.Semaphore(8)

async def ask(prompt: str) -> str:
    async with gate:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Write a title for chapter {i} of a sea adventure." for i in range(1, 41)]
    results = await asyncio.gather(*(ask(p) for p in prompts))
    for t in results:
        print(t)

asyncio.run(main())

Deneme anahtarı kullanırken semafor boyutunu 2 olarak ayarlayın. SDK, 429 yanıtlarını varsayılan olarak geri çekilme ile yeniden dener ve max_retries deneme sayısını artırır. Geçici aşırı yüklenmelerde hizmet, 429 yanıtını Retry-After: 5 ile verir; SDK bunu dikkate alır.

Bir semafor yalnızca tek bir işlem içindeki uçuş halindeki istekleri sınırlar. Birden fazla işleyici çalıştırıyorsanız, limiti bunlar arasında bölün: tam bir anahtarla, dört işleyicinin her biri 2'lik bir semafor kullanmalıdır. Dakikada 300 olan limit hepsi tarafından paylaşılır, bu nedenle büyük çevrimdışı işler için sabit bir hızda bir kuyruk, bir patlamadan daha iyidir. 8 MB gövde limiti sohbet için nadiren bir sorun olsa da, her istek için geçerlidir.

JSON modu ve araç çağrıları

İkisi de normal parametreler üzerinden çalışır. JSON modu için response_format ayarlayın ve istemde JSON isteyin.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Return JSON with keys name, mood and hook."},
        {"role": "user", "content": "Invent a tavern keeper for a fantasy game."},
    ],
)
npc = json.loads(r.choices[0].message.content)
print(npc["name"])

Araç çağırma bir ek adım gerektirir: fonksiyonu kendiniz çalıştırın ve çıktıyı bir tool mesajı olarak döndürün.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides.",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a twenty-sided die for me."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    sides = json.loads(call.function.arguments)["sides"]
    messages.append(msg)
    messages.append({"role": "tool", "tool_call_id": call.id, "content": "14"})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Burada zar için döndürülen değer kısalık için sabit kodlanmıştır. Gerçek kodda, sides ile fonksiyonunuzu çağırın ve sonucunu gönderin.

Araçlar hakkında iki ayrıntı daha. Bir fonksiyonu zorlamak istediğinizde tool_choice kullanın. Araç açıklamalarını spesifik tutun: model yalnızca ad ve açıklamadan bir fonksiyon seçer, bu nedenle "Verilen sayıda kenarı olan bir zar at" ifadesi "zar"dan daha iyidir. Bir yanıt birden fazla araç çağrısı içeriyorsa, hepsini çalıştırın ve son cevabı istemeden önce her çağrı kimliği için bir tool mesajı ekleyin.

Hatalar, yeniden denemeler ve konuşma geçmişi

SDK, yazılı istisnalar atar; bu da hata yönetimini kısa kılar. Bir 429, openai.RateLimitError atar; bir ağ hatası openai.APIConnectionError atar; diğer başarı olmayan durumlar ise openai.APIStatusError atar. SDK, ilkini gördüğünüzde zaten yeniden denemiştir, bu nedenle kodunuza ulaşan şey, tekrar tekrar başarısız olan bir çağrıdır.

import time
import openai
from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=2)

def chat(messages, attempts=4):
    delay = 2.0
    for n in range(attempts):
        try:
            r = client.chat.completions.create(model="uncensored", messages=messages)
            return r.choices[0].message.content
        except openai.RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay *= 2
        except openai.APIConnectionError:
            time.sleep(delay)
            delay *= 2
    raise RuntimeError("gave up after repeated failures")

print(chat([{"role": "user", "content": "Name a color."}]))

Kod, hizmet gönderdiğinde Retry-After okur; bu geçici aşırı yüklenmelerde olur (değer 5 saniyedir). Başlık eksik olduğunda, kendi zamanlamasına göre geri çekilir. Döngünün her hatayı yakalamadığına dikkat edin: hatalı bir istek, yeniden denemede düzelmez, bu nedenle yayılmasına izin verin.

Konuşma geçmişi, diğer durum parçasıdır. API bunu sizin için saklamaz; bu nedenle mesaj listesinin sahibi programınızdır. İyi çalışan basit bir politika şudur: sistem mesajını koruyun, son N dönüşü koruyun ve toplam mesaj sayısı seçtiğiniz bir eşiği aştığında, modeli en eski kısmı tek bir kısa mesajda özetlemeye zorlayın.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

def compact(history, keep=6):
    system, rest = history[0], history[1:]
    if len(rest) <= keep:
        return history
    old, recent = rest[:-keep], rest[-keep:]
    text = "\n".join(m["role"] + ": " + m["content"] for m in old)
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": "Summarize this conversation in 120 words:\n" + text}],
        max_tokens=250,
    )
    summary = {"role": "system", "content": "Earlier in this conversation: " + r.choices[0].message.content}
    return [system, summary] + recent

Özetler de token harcar, ancak bu maliyet kendini amorti eder: aksi takdirde her adımda 20.000 token yeniden gönderilecek olan bir konuşma, birkaç bin tokena düşer.

Bakiye ve istek kimliğini okuma

Her yanıt X-Request-Id ve X-Balance-USD içerir. SDK başlıkları varsayılan olarak gizler, ancak with_raw_response onları açığa çıkarırken yine de size ayrıştırılmış nesneyi verir.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("X-Request-Id"))
print("balance USD:", raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Her hata için istek kimliğini günlüğe kaydedin. destek sayfası üzerinden ekiple iletişime geçmeniz gerekirse, bu ID doğrudan çağrıya işaret eder.

Bakiye başlığı, günlük kaydı ötesinde de kullanışlıdır. Bir planlanmış iş, her toplu işten sonra bu başlığı okuyabilir ve kredi belirlediğiniz bir eşiğin altına düştüğünde durabilir veya kullanıcılar fark etmeden önce bakiye yüklemeniz için size mesaj gönderebilir. Kredi asla sona ermez; bu nedenle harcamak için bir baskı yoktur. Yüklemeler $20 ile $500 arasında tam miktarlardır; bu nedenle tercihinize göre daha büyük adımlarla yeniden doldurabilirsiniz.

SDK olmadan: requests veya httpx

Bağımlılığı önlemeyi tercih ederseniz, API basit bir HTTP istemcisi için yeterince basittir.

import requests

r = requests.post(
    "https://api.openaiapiproxy.com/v1/chat/completions",
    headers={"Authorization": "Bearer YOUR_KEY"},
    json={
        "model": "uncensored",
        "messages": [{"role": "user", "content": "Name three sea shanty topics."}],
    },
    timeout=120,
)
r.raise_for_status()
print(r.json()["choices"][0]["message"]["content"])

Uzun tamamlamalar için cömert bir zaman aşımı ayarlayın. Model, istem boş bıraktığı kadar 100.000 token penceresini kullanabilir, bu nedenle uzun kurgu için sınırsız bir istek biraz zaman alabilir.

Aynı yaklaşım akış için de çalışır. JSON gövdesine "stream": true ekleyin, requests.post'ye stream=True geçin ve yanıtı iter_lines() ile okuyun. Her olay satırı data: ile başlar, ardından JSON gelir ve akış data: [DONE] işaretleyicisiyle biter. Bunu elle ayrıştırmak iyi bir öğrenme egzersizidir, ancak üretim kodu için SDK daha az kenar durumuyla (kısmi satırlar ve yeniden bağlanmalar gibi) bunu yapar.

Python kodunuzda bütçeleme

resp.usage içindeki token sayıları çağrı başına harcamayı hesaplamaya olanak tanır. Fiyat 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir.

from openai import OpenAI

client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

def cost_usd(prompt_tokens: int, completion_tokens: int) -> float:
    return prompt_tokens * 0.15 / 1_000_000 + completion_tokens * 0.50 / 1_000_000

r = client.chat.completions.create(model="uncensored", messages=[{"role": "user", "content": "Hi"}])
print(cost_usd(r.usage.prompt_tokens, r.usage.completion_tokens))
print(cost_usd(1_000_000, 200_000))  # 0.25

İkinci satır elle kontrol edilir: 1M girdi token $0,15'e mal olur ve 200.000 çıktı token 0,2 x $0,50 = $0,10'a mal olur, bu da $0,25 eder. Başarısız veya reddedilen istekler için ücret alınmaz, bu nedenle çıkarmaya gerek yoktur. Yüklemeler $20 ile başlar ve fiyatlandırma sayfası $50, $100 ve $200'de bonusları listeler.

Tam parametre listesi ve hata kodları için dokümantasyon'a bakın.

İşinizde sürekli bir toplam tutun, böylece bir döngü planladığınızdan daha fazlasını harcamaz. 50.000 kısa metni sınıflandıran bir toplu iş, her biri için 400 girdi tokenı ve 20 çıktı tokenı kullanarak 20M girdi tokenı ve 1M çıktı tokenı kullanır. Bu, 20 x $0,15 + 1 x $0,50 = $3,50'e mal olur. Sayacınız işin bunun iki katında olduğunu söylüyorsa, bir şeyler döngüye giriyor.

Sorular ve cevaplar

Özel bir Python paketi gerekiyor mu?

Hayır. Resmi openai paketi yeterlidir. İstemcide base_url ve api_key'i ayarlayın ve model adını uncensored olarak kullanın.

Asenkron istemci çalışıyor mu?

Evet. AsyncOpenAI aynı argümanları kabul eder. Tam anahtarla eşzamanlılığı 8 istekle, deneme anahtarıyla 2 istekle sınırlayın.

Kalan kredimi koddan nasıl görürüm?

X-Balance-USD yanıt başlığını okuyun. openai paketinde with_raw_response kullanın ve ardından raw.headers'i okuyun.

429 hatası durumunda ne olur?

rate_limited veya concurrency hata kodu, hangi limiti aştığınızı gösterir. SDK varsayılan olarak yeniden dener ve geçici aşırı yüklenmelerde bir Retry-After başlığı gönderilir.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al