주요 포인트
- Python에서는 ChatOpenAI(base_url=..., api_key=..., model="uncensored")를 사용하세요. JavaScript에서는 configuration.baseURL을 사용하세요.
- 프롬프트, 체인, 스트리밍, 도구 바인딩 및 JSON 모드는 표준 인터페이스를 통해 계속 작동합니다.
- 임베딩은 제공되지 않으므로 OpenAIEmbeddings를 다른 서비스에 연결해야 합니다.
- 전체 키에는 max_concurrency 8을 사용하고 재시도로 429 응답을 처리하세요.
두 줄의 변경
langchain openai base url을 검색하면 답변이 짧습니다. LangChain의 OpenAI chat 클래스는 OpenAI SDK를 감싸며, 이 SDK는 커스텀 base URL을 허용합니다. 이 서비스에 연결하면 체인의 다른 부분은 변경할 필요가 없습니다. 먼저 pip install langchain-openai langchain-core로 패키지를 설치하세요.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key="YOUR_KEY",
temperature=0.8,
)
print(llm.invoke("Describe a rainy harbor town in two sentences.").content)이것이 전체 통합입니다. 이 서비스는 OpenAI와 호환되지만 별도의 제품입니다. 독립적인 제공업체가 운영하는 하나의 오픈 웨이트 모델이며, 합법적인 성인 사용에 대한 콘텐츠 거부 사항이 없습니다. 공식 OpenAI API나 다른 벤더의 API가 아닙니다. 키를 얻으려면 API 키 페이지를 사용하세요. 새 계정은 카드 없이 한 번의 클릭으로 $0.50 체험 크레딧을 청구할 수 있습니다.
이것이 작동하는 이유: ChatOpenAI는 표준 채팅 완료 요청을 생성하고 지정된 주소로 전송합니다. 서비스는 표준 응답 형식으로 응답하므로 LangChain의 메시지 객체, 콜백 및 파서는 다른 제공업체와 동일하게 작동합니다. 동일한 추상화를 유지하고 목적지만 변경하면 됩니다. 목적지가 다른 모델이므로 프롬프트를 다시 테스트해야 합니다. 제한적인 모델을 협조적으로 만드는 데 사용된 프롬프트는 여기서는 불필요할 수 있으며, 짧은 지시가 더 잘 작동할 수 있습니다.
환경 변수 또는 명시적 인자
환경을 통해 동일한 설정을 구성할 수 있으며 이는 배포에 편리합니다. OpenAI SDK는 OPENAI_BASE_URL 및 OPENAI_API_KEY을 읽습니다. 이전 LangChain 문서는 동일한 목적으로 OPENAI_API_BASE를 사용했습니다. 버전 간에 이름이 변경되었으므로 가장 안전한 방법은 base_url 및 api_key을 명시적으로 전달하고 자체 변수를 읽는 것입니다.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=3,
timeout=120,
)명시적 인자의 실제 이점: 프로젝트에서 다른 작업에 다른 제공업체를 사용하는 경우, 우연히 설정된 전역 변수가 해당 트래픽을 잘못된 곳으로 리디렉션할 수 없습니다. 서로 다른 base URL을 가진 두 개의 ChatOpenAI 객체는 동일한 프로세스에서 함께 작동합니다.
LangChain.js의 동일한 설정
JavaScript 패키지에서는 base URL이 하위 SDK에 전달되는 configuration 객체 안에 들어갑니다.
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.UNCENSORED_API_KEY,
configuration: {
baseURL: "https://api.openaiapiproxy.com/v1",
},
});
const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);대소문자는 일반적인 함정입니다: Python은 base_url을 사용하고, JavaScript SDK는 baseURL을 사용합니다.
프롬프트, 모델 및 파서
채팅 모델이 구축되면 LangChain 표현 언어가 일반적으로 작동합니다. 이 체인은 주제를 짧은 장면으로 변환하고 일반 문자열을 반환합니다.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You write short scenes for an adult fiction platform."),
("human", "Write a scene about: {topic}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))
for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
print(piece, end="", flush=True)스트리밍은 서비스의 서버 전송 이벤트에 의존하며, 모델이 생성하는 대로 이벤트가 도착합니다. 스트리밍 호출은 완료될 때까지 하나의 동시성 슬롯을 점유합니다.
| 연산자는 runnable을 구성하므로 동일한 체인에서 나중에 검색기, 두 번째 모델 호출 또는 출력 파서를 추가할 수 있습니다. 프롬프트 템플릿을 제공업체 간에 이동할 경우, 엔드포인트 설정과 별도로 버전 관리할 수 있도록 템플릿을 파일에 보관하세요.
함수 호출 및 JSON 출력
LangChain은 Python 함수를 @tool 데코레이터를 사용하여 도구 스키마로 변환하고 표준 tools 매개변수를 통해 전송합니다. 서비스는 tools, tool_choice 및 스트리밍 tool_calls을 지원하므로 bind_tools이 작동합니다.
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def lookup_character(name: str) -> str:
"""Return the notes for a character in the story bible."""
notes = {"Mara": "A ferry pilot with a fear of deep water."}
return notes.get(name, "No notes.")
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])
reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
print(call["name"], call["args"])
print(lookup_character.invoke(call["args"]))JSON 모드의 경우 응답 형식을 바인딩하고 지시에 JSON을 언급하세요:
import json
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})
msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))JSON 모드 사용 시에도 파싱을 오류 처리로 감싸세요. 제공업체에 관계없이 잘못된 출력은 가끔 발생하며, 파싱 오류를 첨부한 단일 재시도로 대부분 해결됩니다.
채팅 기록 및 긴 문서
LangChain 채팅 모델은 메시지 목록을 받으며, 기록은 사용자가 관리합니다. 메시지 클래스는 역할을 명시적으로 표시하므로 프롬프트에 여러 부분이 있을 때 튜플보다 명확합니다.
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
messages = [
SystemMessage(content="You are the narrator of a slow-burn mystery."),
HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)컨텍스트 창은 프롬프트와 완료를 합쳐 100,000 토큰입니다. 이는 긴 채팅 기록, 캐릭터 시트 및 여러 페이지의 참조 텍스트를 하나의 호출에 담을 수 있는 공간입니다. 하지만 항상 채워야 한다는 의미는 아닙니다. 입력 토큰은 1M당 $0.15에 청구되므로, 60,000 토큰 프롬프트는 모델이 단어도 작성하기 전에 호출당 60,000 / 1,000,000 x $0.15 = $0.009의 비용이 듭니다. 관련 3페이지만 전송하는 검색 단계가 더 저렴하며 종종 더 나은 답변을 제공합니다.
많은 검색된 텍스트로 프롬프트가 구성될 때 요청 본문에 대한 8 MB 제한을 기억하세요. 이는 정상적인 텍스트의 토큰 창이 허용하는 것보다 훨씬 높으므로, 일반적으로 토큰 제한에 먼저 도달하지만 긴 연속 문자열이 있는 붙여넣기 데이터는 다르게 동작할 수 있습니다.
속도 제한, 배치 및 에이전트
LangChain은 병렬 작업을 쉽게 만들어주지만, 이는 실수로 제한에 도달하는 방법이기도 합니다. 전체 키는 동시 8개 요청과 분당 300개 요청을 허용합니다. 체험 키는 동시 2개 요청과 분당 60개 요청을 허용합니다. 배치의 병렬성을 제한하려면 config 인자를 사용하세요.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
titles = llm.batch(
[f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
config={"max_concurrency": 8},
)
for t in titles:
print(t.content)HTTP 429를 보면 오류 코드가 원인을 알려줍니다: 분당 요청은 rate_limited, 동시 요청 과다는 concurrency입니다. 일시적 과부하 시 응답에는 Retry-After: 5이 포함됩니다. 하위 SDK의 재시도 로직은 대부분 처리하지만, 병렬 도구 호출로 분기되는 에이전트는 여전히 체험 키를 포화 상태에 도달할 수 있으므로 해당 부분에서 max_concurrency를 2로 낮추세요.
에이전트 루프: 각 단계는 성장하는 대화 내용을 입력으로 다시 보내므로 입력 토큰이 출력 토큰보다 빠르게 누적됩니다. 입력 1M당 $0.15, 출력 1M당 $0.50으로, 총 60,000 입력 토큰을 전송하고 6,000 출력 토큰을 생성하는 에이전트 실행 비용은 60,000 / 1,000,000 x $0.15 + 6,000 / 1,000,000 x $0.50 = $0.009 + $0.003 = $0.012입니다. 가격 책정 페이지에는 충전 크레딧 크기를 보여줍니다.
유지되지 않는 부분
- 임베딩. 임베딩 엔드포인트가 없습니다.
OpenAIEmbeddings에 기반한 검색 체인을 사용하는 경우 해당 부분에는 다른 임베딩 소스를 사용하고 채팅 모델만 여기에 유지하세요. - 이미지 및 오디오. 서비스는 텍스트 전용입니다.
- 모델 전환. 하나의 모델만 있습니다.
uncensored입니다. 벤더 모델 이름의 드롭다운은 일치하지 않습니다. - 이름 기반 토큰 카운팅. 모델 이름으로 토큰 수를 추정하는 라이브러리는 근사값으로 대체할 수 있습니다. 실제 수치를 위해 응답 메시지의
usage_metadata을 읽으세요.
프롬프트와 완료 텍스트를 합쳐 컨텍스트 창이 100,000 토큰으로, 긴 채팅 기록이나 문서 스태핑에 충분합니다. 매개변수 전체 목록은 문서를 확인하세요. 모델은 합법적인 성인 콘텐츠는 거부하지 않으므로 공개 체인에 자체 필터를 추가하세요. 단, 미성년자가 관련된 성 콘텐츠는 허용되지 않습니다.
잘못 동작하는 체인 디버깅
체인이 이상한 출력을 생성할 경우 프롬프트를 변경하기 전에 실제로 전송된 내용을 파악하세요. 노력 순서대로 세 가지 도구가 도움이 됩니다.
- 응답 메타데이터를 출력합니다.
invoke에서 반환된 메시지에는response_metadata와usage_metadata가 포함됩니다. 추가 설정 없이 종료 사유와 토큰 개수를 확인할 수 있습니다. - 디버그 로깅을 활성화하세요.
set_debug(True)을langchain_core.globals에서 호출하면 체인 내의 모든 프롬프트와 응답을 출력합니다. 전체 프롬프트를 출력하므로 개발 환경에서만 사용하세요. - curl로 호출을 다시 실행하세요. 디버그 출력에서 렌더링된 메시지를
https://api.openaiapiproxy.com/v1/chat/completions요청에 복사하세요. curl이 동일한 동작을 보이면 문제가 프롬프트에 있습니다. 다르면 문제가 체인에 있습니다.
일반적인 증상과 확인 위치: not-found 오류는 일반적으로 base URL에 /v1이 두 번 붙었거나 누락되었음을 의미합니다. 알 수 없는 모델에 대한 메시지는 이름이 uncensored이 아님을 의미합니다. 빈 tool call 목록은 프롬프트에서 도구 사용이 명확하지 않아서인 경우가 많으며, 더 명확한 도구 설명으로 해결할 수 있습니다. 에이전트가 정체된 경우 체험 키에서 자체 병렬 호출 뒤에 대기열에 있을 수 있으므로 동시성을 낮추세요.
실패 시 요청 ID 헤더(X-Request-Id)를 메모하세요. 문제가 서비스 측에 있는 경우 지원 페이지에 보고 방법이 설명되어 있으며, 해당 ID로 처리 속도를 높일 수 있습니다.
