주요 포인트
- openai를 설치한 후 uncensored 모델을 설정하여 OpenAI(base_url=..., api_key=...)를 생성하세요.
- 스트리밍, JSON 모드 및 함수 호출은 표준 매개변수를 사용하며, 비동기 방식도 동일하게 작동합니다.
- 세마포어를 사용하여 동시성을 8로 제한하고 SDK가 429 응답을 재시도하도록 하세요.
- 원본 응답 헤더에서 X-Balance-USD를 읽어서 코드에서 크레딧을 모니터링하세요.
최소 작동 예제
여기서 가장 짧은 유용한 openai api proxy python 설정을 제공합니다. 이 예제는 Python 3.9 이상, API 키 페이지에서 발급한 키, pip install openai로 설치된 패키지, 그리고 UNCENSORED_API_KEY로 내보낸 키를 가정합니다.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Give me a one-line product tagline for a hiking app."}],
temperature=0.8,
max_tokens=60,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)엔드포인트는 OpenAI 호환이지만 별도의 서비스입니다. OpenAI 또는 기타 벤더의 공식 API가 아니며, uncensored 모델 하나만 호스팅합니다. POST /v1/chat/completions과 GET /v1/models 두 가지 경로만 존재하므로 SDK의 채팅 완성 인터페이스를 사용하세요.
해당 코드에 대한 몇 가지 참고 사항입니다. 키는 리터럴이 아닌 환경 변수에서 가져오므로 버전 관리 시스템에 남지 않습니다. 응답의 usage 객체는 청구 기준이 되는 정확한 토큰 수를 포함하므로 로깅에 유용합니다. 또한 max_tokens은 선택 사항입니다: 이를 생략하면 완성이 창의 나머지 부분을 사용할 수 있으므로 이야기 작성에는 적합하지만 버그가 있는 루프에는 비용이 많이 들 수 있습니다.
도착하는 토큰 스트리밍
스트리밍은 서버 전송 이벤트를 사용합니다. stream=True를 전달하고 청크를 반복하세요. 스트림의 마지막 부분에는 토큰 사용량이 포함되므로, 응답 선택지가 없는 청크를 대비해야 합니다.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell a two-paragraph ghost story."}],
stream=True,
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
if usage:
print("tokens:", usage.prompt_tokens, usage.completion_tokens)운영상 세부 사항: 스트리밍 호출은 스트림이 끝날 때까지 동시성 슬롯 중 하나를 점유합니다. 코드에서 루프를 조기에 종료하는 경우 슬롯을 해제하려면 스트림을 닫으세요(stream.close()).
웹 앱은 일반적으로 이 루프를 생성기로 감싸고 각 조각을 브라우저로 전달합니다. FastAPI의 경우 텍스트 조각을 생성하는 StreamingResponse을 반환합니다. 이 디자인에서는 키를 서버에 유지하세요. 브라우저는 라우트와 통신하고 라우트는 API와 통신하므로 키가 클라이언트 코드에 노출되지 않습니다.
비동기 클라이언트 및 동시성 제어
일반 키는 동시 8개, 분당 300개의 요청을 허용합니다. 체험 키는 각각 2개와 60개를 허용합니다. asyncio.gather로 200개의 코루틴을 실행하면 concurrency로 인해 429 오류를 받게 됩니다. 세마포어를 사용하면 그 전에 이를 해결할 수 있습니다.
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
gate = asyncio.Semaphore(8)
async def ask(prompt: str) -> str:
async with gate:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=200,
)
return r.choices[0].message.content
async def main():
prompts = [f"Write a title for chapter {i} of a sea adventure." for i in range(1, 41)]
results = await asyncio.gather(*(ask(p) for p in prompts))
for t in results:
print(t)
asyncio.run(main())체험 키를 사용하는 동안 세마포어 크기를 2로 설정하세요. SDK는 기본적으로 백오프와 함께 429 응답을 재시도하며, max_retries은 시도 횟수를 늘립니다. 일시적 과부하의 경우 서비스는 Retry-After: 5과 함께 429를 반환하며, SDK는 이를 준수합니다.
세마포어는 단일 프로세스 내에서 실행 중인 요청만 제한합니다. 여러 워커를 실행하는 경우 제한을 분할하세요: 전체 키의 경우 4개의 워커는 각각 2의 세마포어를 사용해야 합니다. 분당 300의 제한은 모든 워커가 공유하므로 대용량 오프라인 작업의 경우 버스트보다 일정한 속도의 큐가 더 좋습니다. 8 MB 본문 제한은 채팅에는 거의 문제가 되지 않지만 모든 요청에 적용됩니다.
JSON 모드 및 도구 호출
둘 다 일반 매개변수를 통해 작동합니다. JSON 모드의 경우 response_format을 설정하고 프롬프트에서 JSON을 요청하세요.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Return JSON with keys name, mood and hook."},
{"role": "user", "content": "Invent a tavern keeper for a fantasy game."},
],
)
npc = json.loads(r.choices[0].message.content)
print(npc["name"])도구 호출에는 한 단계가 더 필요합니다: 함수를 직접 실행하고 출력을 tool 메시지로 반환합니다.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides.",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a twenty-sided die for me."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
sides = json.loads(call.function.arguments)["sides"]
messages.append(msg)
messages.append({"role": "tool", "tool_call_id": call.id, "content": "14"})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)여기서 주사위에 대해 반환되는 값은 간결성을 위해 하드 코딩되었습니다. 실제 코드에서는 sides로 함수를 호출하고 결과를 보내세요.
도구에 대한 두 가지 추가 세부 사항입니다. 모델이 결정하도록 맡기는 대신 특정 함수를 강제해야 할 때 tool_choice를 사용하세요. 도구 설명은 구체적으로 유지하세요: 모델은 이름과 설명만으로 함수를 선택하므로 "주어진 면 수로 주사위를 굴립니다"가 "주사위"보다 더 잘 작동합니다. 응답에 여러 도구 호출이 포함된 경우 모두 실행하고 최종 답변을 요청하기 전에 호출 ID마다 하나의 tool 메시지를 추가하세요.
오류, 재시도 및 대화 기록
SDK는 타입별 예외를 발생시켜 오류 처리를 간소화합니다. 429 오류는 openai.RateLimitError를 발생시키고, 네트워크 오류는 openai.APIConnectionError를 발생시키며, 기타 비성공 상태는 openai.APIStatusError를 발생시킵니다. SDK는 이미 재시도했기 때문에 처음 보게 되는 시점에는 이미 여러 번 실패한 호출만 남습니다.
import time
import openai
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=2)
def chat(messages, attempts=4):
delay = 2.0
for n in range(attempts):
try:
r = client.chat.completions.create(model="uncensored", messages=messages)
return r.choices[0].message.content
except openai.RateLimitError as e:
wait = float(e.response.headers.get("Retry-After", delay))
time.sleep(wait)
delay *= 2
except openai.APIConnectionError:
time.sleep(delay)
delay *= 2
raise RuntimeError("gave up after repeated failures")
print(chat([{"role": "user", "content": "Name a color."}]))서비스가 Retry-After 헤더를 보내면 코드는 이를 읽습니다. 이는 임시 과부하 시 발생하며(값은 5초), 헤더가 없을 때는 자체 규칙에 따라 백오프합니다. 루프가 모든 오류를 포착하지는 않는다는 점에 유의하세요: 잘못된 요청은 재시도로 개선되지 않으므로 전파되게 하세요.
대화 기록은 다른 상태 요소입니다. API는 이를 저장하지 않으므로 프로그램이 메시지 목록을 관리합니다. 잘 작동하는 간단한 정책: 시스템 메시지를 유지하고 마지막 N 턴을 유지하며, 총량이 선택한 크기를 초과하면 모델에게 가장 오래된 부분을 짧은 메시지 하나로 요약하도록 요청하세요.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
def compact(history, keep=6):
system, rest = history[0], history[1:]
if len(rest) <= keep:
return history
old, recent = rest[:-keep], rest[-keep:]
text = "\n".join(m["role"] + ": " + m["content"] for m in old)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarize this conversation in 120 words:\n" + text}],
max_tokens=250,
)
summary = {"role": "system", "content": "Earlier in this conversation: " + r.choices[0].message.content}
return [system, summary] + recent요약에도 토큰이 필요하지만, 그 비용은 스스로를 상쇄합니다: 매 턴마다 20,000개의 토큰을 다시 보내야 할 대화도 수천 개의 토큰으로 줄어듭니다.
잔액 및 요청 ID 읽기
모든 응답에는 X-Request-Id과 X-Balance-USD이 포함됩니다. SDK는 기본적으로 헤더를 숨기지만 with_raw_response은 분석된 객체를 제공하면서 이를 노출합니다.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Say ok."}],
)
print("request id:", raw.headers.get("X-Request-Id"))
print("balance USD:", raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)모든 실패 시 요청 ID를 로깅하세요. 지원 페이지를 통해 팀에 연락해야 하는 경우 해당 ID가 호출을 직접 가리킵니다.
잔액 헤더는 로깅 외에도 유용합니다. 예약된 작업은 각 배치 후 잔액을 읽고 크레딧이 설정된 임계값 아래로 떨어지면 중단하거나, 사용자가 알기 전에 충전할 수 있도록 메시지를 보낼 수 있습니다. 크레딧은 만료되지 않으므로 사용해야 할 압박이 없습니다. 충전은 $20에서 $500까지의 전체 금액으로 이루어지므로 선호하는 경우 더 큰 단계로 충전할 수 있습니다.
SDK 없이: requests 또는 httpx 사용
의존성을 피하려는 경우 API가 단순하여 일반 HTTP 클라이언트로도 충분합니다.
import requests
r = requests.post(
"https://api.openaiapiproxy.com/v1/chat/completions",
headers={"Authorization": "Bearer YOUR_KEY"},
json={
"model": "uncensored",
"messages": [{"role": "user", "content": "Name three sea shanty topics."}],
},
timeout=120,
)
r.raise_for_status()
print(r.json()["choices"][0]["message"]["content"])긴 완성을 위해 관대한 시간 제한을 설정하세요. 모델은 프롬프트가 남긴 빈 100,000개 토큰 창을 모두 사용할 수 있으므로 제한 없는 긴 소설 요청은 시간이 오래 걸릴 수 있습니다.
스트리밍에도 같은 접근 방식을 적용할 수 있습니다. JSON 본문에 "stream": true를 추가하고, requests.post에 stream=True를 전달한 후 iter_lines()로 응답을 읽으세요. 각 이벤트 라인은 data: 로 시작하고 JSON이 따르며, 스트림은 data: [DONE] 마커로 끝납니다. 이를 직접 파싱하는 것은 좋은 학습이 되지만, 프로덕션 코드에서는 SDK가 부분적인 라인이나 재연결 같은 예외 상황을 더 적게 가집니다.
Python 코드 내 예산 관리
resp.usage의 토큰 수를 사용하여 호출당 지출을 계산할 수 있습니다. 가격은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50입니다.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
def cost_usd(prompt_tokens: int, completion_tokens: int) -> float:
return prompt_tokens * 0.15 / 1_000_000 + completion_tokens * 0.50 / 1_000_000
r = client.chat.completions.create(model="uncensored", messages=[{"role": "user", "content": "Hi"}])
print(cost_usd(r.usage.prompt_tokens, r.usage.completion_tokens))
print(cost_usd(1_000_000, 200_000)) # 0.25두 번째 줄은 수동으로 계산됩니다: 입력 토큰 100만 개는 $0.15가 들고 출력 토큰 200,000개는 0.2 x $0.50 = $0.10이 들어 총 $0.25가 됩니다. 실패하거나 거부된 요청에는 요금이 부과되지 않으므로 제외할 필요가 없습니다. 충전은 $20부터 시작하며, 가격 책정 페이지에는 $50, $100, $200에 대한 보너스가 나열되어 있습니다.
전체 매개변수 목록 및 오류 코드는 문서를 참조하세요.
작업에서 누적 합계를 유지하여 루프가 계획한 금액보다 더 많이 쓰지 못하게 하세요. 50,000개의 짧은 텍스트를 분류하는 배치 작업은 각각 400개의 입력 토큰과 20개의 출력 토큰을 사용하므로, 20M 입력 토큰과 1M 출력 토큰이 필요합니다. 이는 20 x $0.15 + 1 x $0.50 = $3.50의 비용이 듭니다. 카운터가 작업이 그 두 배에 도달했다고 표시하면, 무언가 루프가 돌고 있는 것입니다.
