Temel noktalar
- openai paketini yükleyin, ardından modeli uncensored olarak ayarlayarak OpenAI(base_url=..., api_key=...) ile istemci oluşturun.
- Akış, JSON modu ve fonksiyon çağırma standart parametreleri kullanır ve asenkron kullanım aynı şekilde çalışır.
- Eşzamanlı istek sayısını bir semafor ile 8 ile sınırlayın ve SDK'nın 429 yanıtlarını yeniden denemesini sağlayın.
- Kredinizi koddan izlemek için ham yanıt başlıklarından X-Balance-USD'yi okuyun.
Minimal çalışan örnek
İşte en kısa kullanışlı openai api proxy python kurulumu. Python 3.9 veya üzerini, API anahtarı sayfası'ndan alınan bir anahtarı, pip install openai ile yüklenmiş paketi ve UNCENSORED_API_KEY olarak dışa aktarılmış anahtarı varsayar.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me a one-line product tagline for a hiking app."}],
temperature=0.8,
max_tokens=60,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)Uç nokta OpenAI uyumludur ancak ayrı bir hizmettir. OpenAI'nin veya başka bir satıcının resmi API'si değildir ve uncensored adlı tek bir modeli barındırır. Yalnızca POST /v1/chat/completions ve GET /v1/models rotaları bulunur; bu nedenle SDK'nın sohbet tamamlama arayüzünü kullanın.
Bu kod hakkında bazı notlar. Anahtar, sabit bir değer yerine bir ortam değişkeninden gelir; bu nedenle sürüm kontrolüne asla kaydedilmez. Yanıttaki usage nesnesi, faturanın temelini oluşturan kesin token sayılarını içerir ki bu da günlük kaydı için kullanışlıdır. max_tokens isteğe bağlıdır: bu parametreyi belirtmezseniz, tamamlama işlemi pencerenin geri kalanını kullanabilir; bu durum hikayeler için uygundur ancak hatası olan bir döngü için maliyetli olabilir.
Gelen tokenları akış halinde alma
Akış, sunucu tarafından gönderilen olayları kullanır. stream=True parametresini geçin ve parçalar üzerinde yineleme yapın. Akışın son kısmı token kullanımını içerir, bu nedenle seçim içermeyen parçalar için koruma sağlayın.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell a two-paragraph ghost story."}],
stream=True,
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
if usage:
print("tokens:", usage.prompt_tokens, usage.completion_tokens)Bir iş detayı: akışlı bir çağrı, akış sona erene kadar eşzamanlılık slotlarınızdan birini işgal eder. Kodunuz döngüden erken çıkarsa, slotun serbest bırakılması için akışı kapatın (stream.close()).
Bir web uygulaması genellikle bu döngüyü bir jeneratörle sarar ve her parçayı tarayıcıya iletir. FastAPI ile bu, metin parçalarını üreten bir StreamingResponse döndürmek anlamına gelir. Bu tasarımda anahtarı sunucuda tutun. Tarayıcı rotanıza bağlanır, rotanız API'ye bağlanır, bu nedenle anahtar istemci koduna asla açığa çıkmaz.
Asenkron istemciler ve kontrollü eşzamanlılık
Tam bir anahtar aynı anda 8 istek ve dakikada 300 istek yapmanıza olanak tanır. Bir deneme anahtarı 2 ve 60'a izin verir. asyncio.gather ile 200 eşzamanlı iş başlatırsanız, concurrency koduyla 429 hataları alırsınız. Bir semafor bunu gerçekleşmeden önce çözer.
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
gate = asyncio.Semaphore(8)
async def ask(prompt: str) -> str:
async with gate:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=200,
)
return r.choices[0].message.content
async def main():
prompts = [f"Write a title for chapter {i} of a sea adventure." for i in range(1, 41)]
results = await asyncio.gather(*(ask(p) for p in prompts))
for t in results:
print(t)
asyncio.run(main())Deneme anahtarı kullanırken semafor boyutunu 2 olarak ayarlayın. SDK, 429 yanıtlarını varsayılan olarak geri çekilme ile yeniden dener ve max_retries deneme sayısını artırır. Geçici aşırı yüklenmelerde hizmet, 429 yanıtını Retry-After: 5 ile verir; SDK bunu dikkate alır.
Bir semafor yalnızca tek bir işlem içindeki uçuş halindeki istekleri sınırlar. Birden fazla işleyici çalıştırıyorsanız, limiti bunlar arasında bölün: tam bir anahtarla, dört işleyicinin her biri 2'lik bir semafor kullanmalıdır. Dakikada 300 olan limit hepsi tarafından paylaşılır, bu nedenle büyük çevrimdışı işler için sabit bir hızda bir kuyruk, bir patlamadan daha iyidir. 8 MB gövde limiti sohbet için nadiren bir sorun olsa da, her istek için geçerlidir.
JSON modu ve araç çağrıları
İkisi de normal parametreler üzerinden çalışır. JSON modu için response_format ayarlayın ve istemde JSON isteyin.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Return JSON with keys name, mood and hook."},
{"role": "user", "content": "Invent a tavern keeper for a fantasy game."},
],
)
npc = json.loads(r.choices[0].message.content)
print(npc["name"])Araç çağırma bir ek adım gerektirir: fonksiyonu kendiniz çalıştırın ve çıktıyı bir tool mesajı olarak döndürün.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides.",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a twenty-sided die for me."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
sides = json.loads(call.function.arguments)["sides"]
messages.append(msg)
messages.append({"role": "tool", "tool_call_id": call.id, "content": "14"})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)Burada zar için döndürülen değer kısalık için sabit kodlanmıştır. Gerçek kodda, sides ile fonksiyonunuzu çağırın ve sonucunu gönderin.
Araçlar hakkında iki ayrıntı daha. Bir fonksiyonu zorlamak istediğinizde tool_choice kullanın. Araç açıklamalarını spesifik tutun: model yalnızca ad ve açıklamadan bir fonksiyon seçer, bu nedenle "Verilen sayıda kenarı olan bir zar at" ifadesi "zar"dan daha iyidir. Bir yanıt birden fazla araç çağrısı içeriyorsa, hepsini çalıştırın ve son cevabı istemeden önce her çağrı kimliği için bir tool mesajı ekleyin.
Hatalar, yeniden denemeler ve konuşma geçmişi
SDK, yazılı istisnalar atar; bu da hata yönetimini kısa kılar. Bir 429, openai.RateLimitError atar; bir ağ hatası openai.APIConnectionError atar; diğer başarı olmayan durumlar ise openai.APIStatusError atar. SDK, ilkini gördüğünüzde zaten yeniden denemiştir, bu nedenle kodunuza ulaşan şey, tekrar tekrar başarısız olan bir çağrıdır.
import time
import openai
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=2)
def chat(messages, attempts=4):
delay = 2.0
for n in range(attempts):
try:
r = client.chat.completions.create(model="uncensored", messages=messages)
return r.choices[0].message.content
except openai.RateLimitError as e:
wait = float(e.response.headers.get("Retry-After", delay))
time.sleep(wait)
delay *= 2
except openai.APIConnectionError:
time.sleep(delay)
delay *= 2
raise RuntimeError("gave up after repeated failures")
print(chat([{"role": "user", "content": "Name a color."}]))Kod, hizmet gönderdiğinde Retry-After okur; bu geçici aşırı yüklenmelerde olur (değer 5 saniyedir). Başlık eksik olduğunda, kendi zamanlamasına göre geri çekilir. Döngünün her hatayı yakalamadığına dikkat edin: hatalı bir istek, yeniden denemede düzelmez, bu nedenle yayılmasına izin verin.
Konuşma geçmişi, diğer durum parçasıdır. API bunu sizin için saklamaz; bu nedenle mesaj listesinin sahibi programınızdır. İyi çalışan basit bir politika şudur: sistem mesajını koruyun, son N dönüşü koruyun ve toplam mesaj sayısı seçtiğiniz bir eşiği aştığında, modeli en eski kısmı tek bir kısa mesajda özetlemeye zorlayın.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
def compact(history, keep=6):
system, rest = history[0], history[1:]
if len(rest) <= keep:
return history
old, recent = rest[:-keep], rest[-keep:]
text = "\n".join(m["role"] + ": " + m["content"] for m in old)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarize this conversation in 120 words:\n" + text}],
max_tokens=250,
)
summary = {"role": "system", "content": "Earlier in this conversation: " + r.choices[0].message.content}
return [system, summary] + recentÖzetler de token harcar, ancak bu maliyet kendini amorti eder: aksi takdirde her adımda 20.000 token yeniden gönderilecek olan bir konuşma, birkaç bin tokena düşer.
Bakiye ve istek kimliğini okuma
Her yanıt X-Request-Id ve X-Balance-USD içerir. SDK başlıkları varsayılan olarak gizler, ancak with_raw_response onları açığa çıkarırken yine de size ayrıştırılmış nesneyi verir.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("X-Request-Id"))
print("balance USD:", raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)Her hata için istek kimliğini günlüğe kaydedin. destek sayfası üzerinden ekiple iletişime geçmeniz gerekirse, bu ID doğrudan çağrıya işaret eder.
Bakiye başlığı, günlük kaydı ötesinde de kullanışlıdır. Bir planlanmış iş, her toplu işten sonra bu başlığı okuyabilir ve kredi belirlediğiniz bir eşiğin altına düştüğünde durabilir veya kullanıcılar fark etmeden önce bakiye yüklemeniz için size mesaj gönderebilir. Kredi asla sona ermez; bu nedenle harcamak için bir baskı yoktur. Yüklemeler $20 ile $500 arasında tam miktarlardır; bu nedenle tercihinize göre daha büyük adımlarla yeniden doldurabilirsiniz.
SDK olmadan: requests veya httpx
Bağımlılığı önlemeyi tercih ederseniz, API basit bir HTTP istemcisi için yeterince basittir.
import requests
r = requests.post(
"https://api.openaiapiproxy.com/v1/chat/completions",
headers={"Authorization": "Bearer YOUR_KEY"},
json={
"model": "uncensored",
"messages": [{"role": "user", "content": "Name three sea shanty topics."}],
},
timeout=120,
)
r.raise_for_status()
print(r.json()["choices"][0]["message"]["content"])Uzun tamamlamalar için cömert bir zaman aşımı ayarlayın. Model, istem boş bıraktığı kadar 100.000 token penceresini kullanabilir, bu nedenle uzun kurgu için sınırsız bir istek biraz zaman alabilir.
Aynı yaklaşım akış için de çalışır. JSON gövdesine "stream": true ekleyin, requests.post'ye stream=True geçin ve yanıtı iter_lines() ile okuyun. Her olay satırı data: ile başlar, ardından JSON gelir ve akış data: [DONE] işaretleyicisiyle biter. Bunu elle ayrıştırmak iyi bir öğrenme egzersizidir, ancak üretim kodu için SDK daha az kenar durumuyla (kısmi satırlar ve yeniden bağlanmalar gibi) bunu yapar.
Python kodunuzda bütçeleme
resp.usage içindeki token sayıları çağrı başına harcamayı hesaplamaya olanak tanır. Fiyat 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
def cost_usd(prompt_tokens: int, completion_tokens: int) -> float:
return prompt_tokens * 0.15 / 1_000_000 + completion_tokens * 0.50 / 1_000_000
r = client.chat.completions.create(model="uncensored", messages=[{"role": "user", "content": "Hi"}])
print(cost_usd(r.usage.prompt_tokens, r.usage.completion_tokens))
print(cost_usd(1_000_000, 200_000)) # 0.25İkinci satır elle kontrol edilir: 1M girdi token $0,15'e mal olur ve 200.000 çıktı token 0,2 x $0,50 = $0,10'a mal olur, bu da $0,25 eder. Başarısız veya reddedilen istekler için ücret alınmaz, bu nedenle çıkarmaya gerek yoktur. Yüklemeler $20 ile başlar ve fiyatlandırma sayfası $50, $100 ve $200'de bonusları listeler.
Tam parametre listesi ve hata kodları için dokümantasyon'a bakın.
İşinizde sürekli bir toplam tutun, böylece bir döngü planladığınızdan daha fazlasını harcamaz. 50.000 kısa metni sınıflandıran bir toplu iş, her biri için 400 girdi tokenı ve 20 çıktı tokenı kullanarak 20M girdi tokenı ve 1M çıktı tokenı kullanır. Bu, 20 x $0,15 + 1 x $0,50 = $3,50'e mal olur. Sayacınız işin bunun iki katında olduğunu söylüyorsa, bir şeyler döngüye giriyor.
