主要ポイント
- openaiをインストールし、モデルをuncensoredに設定してOpenAI(base_url=..., api_key=...)を構築します。
- ストリーミング、JSONモード、ツール呼び出しは標準パラメータを使用し、非同期処理も同じ方法で動作します。
- セマフォを使用して同時実行数を8に制限し、SDKに429レスポンスのリトライを任せます。
- rawレスポンスのヘッダーからX-Balance-USDを読み取り、コードからクレジットを監視します。
最小限の動作例
以下に、最も簡潔な有用なOpenAI APIプロキシのPythonセットアップを示します。Python 3.9以降、APIキーページからのキー、pip install openaiでインストールされたパッケージ、およびUNCENSORED_API_KEYとしてエクスポートされたキーを前提としています。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me a one-line product tagline for a hiking app."}],
temperature=0.8,
max_tokens=60,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)エンドポイントはOpenAI互換ですが、別のサービスです。OpenAIまたは他のベンダーの公式APIではなく、1つのモデルuncensoredをホストしています。存在するルートはPOST /v1/chat/completionsとGET /v1/modelsのみなので、SDKのチャット完了インターフェースに限定してください。
そのコードに関するいくつかの注意点。キーはリテラルではなく環境変数から取得するため、バージョン管理に紛れ込むことはありません。レスポンスのusageオブジェクトには請求の基礎となる正確なトークン数が含まれており、ログ記録に役立ちます。また、max_tokensはオプションです:指定しない場合、完了はウィンドウの残りを消費する可能性がありますが、物語の生成などでは問題ありませんが、バグのあるループでは高コストになります。
到着するトークンのストリーミング
ストリーミングはサーバー送信イベント(SSE)を使用します。stream=Trueを渡してチャンクを順に処理します。ストリームの最後の部分にはトークン使用量が含まれるため、choicesのないチャンクをチェックしてください。
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell a two-paragraph ghost story."}],
stream=True,
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
if usage:
print("tokens:", usage.prompt_tokens, usage.completion_tokens)運用上の詳細:ストリーミング呼び出しはストリームが終了するまで同時実行数の1つを占有します。コードがループから早期に脱出する場合は、ストリームを閉じる(stream.close())ことでスロットを解放してください。
Webアプリは通常、このループをジェネレーターでラップし、各ピースをブラウザに転送します。FastAPIの場合、これはテキストパートをyieldするStreamingResponseを返すことを意味します。この設計ではキーをサーバーに保持します。ブラウザはあなたのルートにアクセスし、あなたのルートはAPIにアクセスするため、キーはクライアントコードに公開されません。
非同期クライアントと制御された同時実行数
完全なAPIキーでは同時に8件のリクエスト、1分あたり300件のリクエストが可能です。試用期間のAPIキーではそれぞれ2件と60件です。asyncio.gatherで200のコルーチンを同時に実行すると、コードconcurrencyの429エラーが発生します。セマフォで事前にこれを回避できます。
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
gate = asyncio.Semaphore(8)
async def ask(prompt: str) -> str:
async with gate:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=200,
)
return r.choices[0].message.content
async def main():
prompts = [f"Write a title for chapter {i} of a sea adventure." for i in range(1, 41)]
results = await asyncio.gather(*(ask(p) for p in prompts))
for t in results:
print(t)
asyncio.run(main())トライアルキーの間はセマフォのサイズを2にしてください。SDKはデフォルトでバックオフにより429レスポンスをリトライし、max_retriesは試行回数を増やします。一時的な過負荷の場合、サービスはRetry-After: 5で429に回答し、SDKはこれを尊重します。
セマフォは1つのプロセス内の実行中のリクエストのみを制限します。複数のワーカーを実行する場合は、制限をそれらで分割してください:フルキーの場合、4つのワーカーはそれぞれセマフォ2を使用すべきです。1分あたりの制限300はそれらすべてで共有されるため、大規模なオフラインジョブにはバーストよりも安定したレートを持つキューが優れています。8 MBのボディ制限はチャットではあまり問題になりませんが、すべてのリクエストに適用されます。
JSONモードとツール呼び出し
両方とも通常のパラメータを通じて機能します。JSONモードの場合、response_formatを設定し、プロンプトでJSONを指定してください。
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Return JSON with keys name, mood and hook."},
{"role": "user", "content": "Invent a tavern keeper for a fantasy game."},
],
)
npc = json.loads(r.choices[0].message.content)
print(npc["name"])ツール呼び出しには1つの追加ステップが必要です:関数を自分で実行し、出力をtoolメッセージとして返します。
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides.",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a twenty-sided die for me."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
sides = json.loads(call.function.arguments)["sides"]
messages.append(msg)
messages.append({"role": "tool", "tool_call_id": call.id, "content": "14"})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)この例でのサイコロの戻り値は簡潔さのためにハードコードされています。実際のコードでは、sidesで関数を呼び出し、その結果を送信してください。
ツールに関するさらに2つの詳細。特定の関数を強制してモデルに判断を任せない場合はtool_choiceを使用してください。また、ツールの説明を具体的にする:モデルは名前と説明だけで関数を選択するため、「指定された面の数でサイコロを転がす」は「サイコロ」よりも優れています。返信に複数のツール呼び出しが含まれる場合、それらすべてを実行し、最終的な答えを尋ねる前に、呼び出しIDごとに1つのtoolメッセージを追加してください。
エラー、リトライ、会話履歴
SDKは型付き例外を発生させるため、エラー処理が簡潔になります。429はopenai.RateLimitErrorを、ネットワーク障害はopenai.APIConnectionErrorを、その他の成功しないステータスはopenai.APIStatusErrorを発生させます。SDKはすでにリトライ済みなので、あなたが最初に目にするのは、繰り返し失敗した呼び出しです。
import time
import openai
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=2)
def chat(messages, attempts=4):
delay = 2.0
for n in range(attempts):
try:
r = client.chat.completions.create(model="uncensored", messages=messages)
return r.choices[0].message.content
except openai.RateLimitError as e:
wait = float(e.response.headers.get("Retry-After", delay))
time.sleep(wait)
delay *= 2
except openai.APIConnectionError:
time.sleep(delay)
delay *= 2
raise RuntimeError("gave up after repeated failures")
print(chat([{"role": "user", "content": "Name a color."}]))サービスが送信する場合(一時的な過負荷時に発生、値は5秒)、コードはRetry-Afterを読み取ります。ヘッダーがない場合、独自のスケジュールでバックオフします。ループがすべてのエラーをキャッチしているわけではないことに注意してください:リクエストが不正な場合、リトライしても改善しないため、伝播させてください。
会話履歴はもう1つの状態です。APIはそれを保存しないため、あなたのプログラムがメッセージのリストを管理します。うまく機能する単純なポリシー:システムメッセージを保持し、最後のNターンを保持し、合計があなたが選んだサイズを超えた場合、モデルに最も古い部分を短いメッセージに要約させます。
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
def compact(history, keep=6):
system, rest = history[0], history[1:]
if len(rest) <= keep:
return history
old, recent = rest[:-keep], rest[-keep:]
text = "\n".join(m["role"] + ": " + m["content"] for m in old)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarize this conversation in 120 words:\n" + text}],
max_tokens=250,
)
summary = {"role": "system", "content": "Earlier in this conversation: " + r.choices[0].message.content}
return [system, summary] + recent要約にもトークンコストがかかりますが、その効果は自ずと見込めます:通常はすべてのターンで20,000トークンを再送信する会話でも、要約を使用すれば数千トークンに抑えることができます。
残高とリクエストIDの読み取り
すべてのレスポンスにはX-Request-IdとX-Balance-USDが含まれます。SDKはデフォルトでヘッダーを隠しますが、with_raw_responseは解析されたオブジェクトを提供しながらそれらを公開します。
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("X-Request-Id"))
print("balance USD:", raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)すべての失敗にリクエストIDをログに記録してください。サポートページを通じてチームに連絡する必要がある場合、そのIDは呼び出しを直接指し示します。
残高ヘッダーはログ出力だけでなく活用できます。定期ジョブは各バッチ処理後に残高ヘッダーを読み取り、クレジットがあなたが設定した閾値を下回った場合に処理を停止するか、ユーザーが気づく前にチャージできるよう通知を受け取ることができます。クレジットは期限切れにならないため、焦って使う必要はありません。チャージは$20から$500の整数額で可能なので、必要に応じて大きな単位で補充することもできます。
SDKなし:requestsまたはhttpx
依存関係を避けたい場合は、APIはプレーンHTTPクライアントで十分シンプルです。
import requests
r = requests.post(
"https://api.openaiapiproxy.com/v1/chat/completions",
headers={"Authorization": "Bearer YOUR_KEY"},
json={
"model": "uncensored",
"messages": [{"role": "user", "content": "Name three sea shanty topics."}],
},
timeout=120,
)
r.raise_for_status()
print(r.json()["choices"][0]["message"]["content"])長い生成には余裕のあるタイムアウトを設定してください。プロンプトが空けた範囲に応じて、モデルは100,000トークンのコンテキストウィンドウを最大限に活用できます。そのため、長編小説の生成リクエストには時間がかかる場合があります。
同じアプローチはストリーミングでも機能します。JSONボディに"stream": trueを追加し、stream=Trueをrequests.postに渡し、iter_lines()でレスポンスを読み取ります。各イベント行はdata: で始まり、JSONに続き、ストリームはdata: [DONE]マーカーで終了します。これを自分で解析するのは良い学習演習ですが、部分的な行や再接続などのエッジケースが少ないため、本番コードではSDKを使用してください。
Pythonコード内での予算管理
resp.usageのトークン数により、呼び出しあたりの支出を計算できます。価格は1M入力トークンあたり$0.15、1M出力トークンあたり$0.50です。
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
def cost_usd(prompt_tokens: int, completion_tokens: int) -> float:
return prompt_tokens * 0.15 / 1_000_000 + completion_tokens * 0.50 / 1_000_000
r = client.chat.completions.create(model="uncensored", messages=[{"role": "user", "content": "Hi"}])
print(cost_usd(r.usage.prompt_tokens, r.usage.completion_tokens))
print(cost_usd(1_000_000, 200_000)) # 0.252行目は手計算で確認できます:1M入力トークンは$0.15、200,000出力トークンは0.2 x $0.50 = $0.10かかり、合計$0.25になります。失敗または拒否されたリクエストは請求されないため、それらを減算する必要はありません。チャージは$20から始まり、価格ページには$50、$100、$200のボーナスがリストされています。
完全なパラメータリストとエラーコードについては、ドキュメントを参照してください。
ジョブ内で累積合計を管理し、ループが計画した量を超えてトークンを使用しないようにしてください。50,000件の短文を分類するバッチジョブでは、1件あたり400トークンの入力と20トークンの出力が必要で、合計で20M個の入力トークンと1M個の出力トークンを使用します。これは20 x $0.15 + 1 x $0.50 = $3.50の費用がかかります。もしカウンターがその2倍の値を示している場合、何かがループしている可能性があります。
