要点
- 在 Python 中使用 ChatOpenAI(base_url=..., api_key=..., model="uncensored")。在 JavaScript 中使用 configuration.baseURL。
- 通过标准接口,提示词、链、流式输出、工具绑定和 JSON 模式均可正常工作。
- 不提供嵌入功能,因此 OpenAIEmbeddings 必须指向其他服务。
- 对完整密钥使用 max_concurrency 8,让重试机制处理 429 响应。
两行代码的更改
搜索 langchain openai base url 时,答案很短。LangChain 的 OpenAI 聊天类封装了 OpenAI SDK,该 SDK 接受自定义 base URL。将其指向此服务,你的链中其他部分无需更改。首先安装包 pip install langchain-openai langchain-core。
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key="YOUR_KEY",
temperature=0.8,
)
print(llm.invoke("Describe a rainy harbor town in two sentences.").content)这就是完整的集成方式。该服务兼容 OpenAI,但它是独立的产品:一个开放权重模型,由独立提供商运行,在合法成人用途下不拒绝内容。它不是 OpenAI 或其他供应商的官方 API。要获取密钥,请访问 API 密钥页面;新账户只需点击一下即可领取 $0.50 试用额度,无需绑定银行卡。
为什么有效:ChatOpenAI 构建标准聊天补全请求,并将其发送给它被赋予的任何地址。服务以标准响应格式进行回复,因此 LangChain 的消息对象、回调和解析器在与任何其他提供商交互时表现一致。你保留了相同的抽象,仅目的地发生变化。由于目的地是不同的模型,你应该重新测试你的提示词。旨在诱导受限模型合作的提示词在这里可能是不必要的,较短的指令通常效果更好。
环境变量或显式参数
你可以通过环境变量配置相同的内容,这在部署时很方便。OpenAI SDK 读取 OPENAI_BASE_URL 和 OPENAI_API_KEY。较旧的 LangChain 文档使用 OPENAI_API_BASE 达到相同目的。由于名称在不同版本之间发生了变化,最安全的习惯是显式传递 base_url 和 api_key 并读取你自己的变量。
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=3,
timeout=120,
)显式参数的真正好处是:如果你的项目还使用其他提供商处理其他任务,一个随机的全局变量不会将流量重定向到错误的位置。两个具有不同 base URL 的 ChatOpenAI 对象可以在同一个进程中和谐共存。
LangChain.js 中的相同设置
在 JavaScript 包中,base URL 位于传递给底层 SDK 的 configuration 对象中。
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.UNCENSORED_API_KEY,
configuration: {
baseURL: "https://api.openaiapiproxy.com/v1",
},
});
const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);大小写是常见陷阱:Python 使用 base_url,JavaScript SDK 使用 baseURL。
提示词、模型和解析器
一旦构建好聊天模型,LangChain 表达式语言即可正常使用。此链将主题转换为简短场景并返回纯字符串。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You write short scenes for an adult fiction platform."),
("human", "Write a scene about: {topic}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))
for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
print(piece, end="", flush=True)流式输出依赖于服务的服务器发送事件,这些事件随模型生成而到达。流式调用会占用一个并发槽位,直到完成。
| 运算符组合可运行对象,因此同一链可以稍后添加检索器、第二次模型调用或输出解析器,而无需触碰早期步骤。如果在提供商之间移动提示词模板,请将模板保存在文件中,以便将其与接口设置分开版本控制。
函数调用和 JSON 输出
LangChain 使用 @tool 装饰器将 Python 函数转换为工具模式,并通过标准 tools 参数发送它们。该服务支持 tools、tool_choice 和流式 tool_calls,因此 bind_tools 有效。
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def lookup_character(name: str) -> str:
"""Return the notes for a character in the story bible."""
notes = {"Mara": "A ferry pilot with a fear of deep water."}
return notes.get(name, "No notes.")
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])
reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
print(call["name"], call["args"])
print(lookup_character.invoke(call["args"]))对于 JSON 模式,绑定响应格式并在你的指令中提及 JSON:
import json
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})
msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))即使使用 JSON 模式,也要在错误处理中包装解析。无论提供商如何,格式错误的输出偶尔会发生,一次带有解析错误的重试通常可以修复它。
聊天历史和长文档
LangChain 聊天模型接受消息列表,历史记录由你管理。消息类使角色明确,这在提示词有多个部分时比元组更清晰。
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
messages = [
SystemMessage(content="You are the narrator of a slow-burn mystery."),
HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)上下文窗口为 100,000 token,包含提示词和补全。这为长聊天历史、角色表和几页参考文本留出了空间。但这并不意味着你应该总是填满它。输入 token 按每 1M $0.15 计费,因此 60,000 token 的提示词每次调用成本为 60,000 / 1,000,000 x $0.15 = $0.009,在模型写入任何内容之前。仅发送相关三页的检索步骤更便宜,且通常能提供更好的答案。
当提示词由大量检索文本构建时,请记住请求正文的 8 MB 限制。它远高于正常文本的 token 窗口允许的范围,所以你通常会先达到 token 限制,但粘贴包含长不间断字符串的数据可能会有不同的行为。
速率限制、批量请求和代理
LangChain 使并行工作变得容易,这恰恰是意外达到限制的原因。完整密钥允许 8 个并发请求和每分钟 300 个。试用密钥允许 2 个和 60 个。使用 config 参数限制批处理的并行度。
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
titles = llm.batch(
[f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
config={"max_concurrency": 8},
)
for t in titles:
print(t.content)如果你看到 HTTP 429,错误代码说明了原因:rate_limited 表示每分钟请求数,concurrency 表示同时过多。在临时过载时,响应包括 Retry-After: 5。底层 SDK 中的重试逻辑处理了大部分情况,但将并行工具调用分散到许多地方的代理仍可能使试用密钥饱和,因此在那里将 max_concurrency 降低到 2。
智能体循环:每一步都将不断增长的对话作为输入发送,因此输入 token 的累积速度比输出 token 快。输入每 1M token 价格为 $0.15,输出每 1M token 价格为 $0.50,一次智能体运行总共发送 60,000 个输入 token 并生成 6,000 个输出 token 的成本为 60,000 / 1,000,000 x $0.15 + 6,000 / 1,000,000 x $0.50 = $0.009 + $0.003 = $0.012。定价页面 显示了充值额度大小。
不保留的内容
- 嵌入。 没有嵌入接口。如果你的检索链基于
OpenAIEmbeddings,请为该部分使用其他嵌入源,并仅在此处保留聊天模型。 - 图像和音频。 该服务仅支持文本。
- 模型切换。 只有一个模型
uncensored。供应商模型名称的下拉菜单将不匹配。 - 按名称计算 token。 根据模型名称猜测 token 计数的库可能会回退到近似值。对于真实数字,请读取响应消息上的
usage_metadata。
上下文窗口为 100,000 token,包含提示词和补全,这对于长聊天历史和文档填充来说很慷慨。查看 文档 获取参数的完整列表,并记住该模型不拒绝合法的成人内容,因此任何面向公众的链都应添加你自己的过滤器。硬性规则是禁止涉及未成年人的性内容。
调试行为异常的链
当链产生奇怪输出时,在更改提示词之前,先找出实际传输的内容。有三种工具可以帮助,按投入精力顺序排列。
- 打印响应元数据。
invoke返回的消息带有response_metadata和usage_metadata。你可以检查完成原因和 token 计数,无需任何额外设置。 - 开启调试日志。 从
langchain_core.globals调用set_debug(True)可打印链中的每条提示词和响应。仅在开发环境中使用,因为它会打印完整的提示词。 - 使用 curl 重放调用。 将调试输出中的渲染消息复制到对
https://api.openaiapiproxy.com/v1/chat/completions的请求中。如果 curl 表现相同,则问题出在你的提示词中。如果不同,则问题出在链中。
典型症状及查找位置:未找到错误通常意味着基础 URL 重复了 /v1 或缺少它。关于未知模型的消息意味着名称不是 uncensored。空工具调用列表通常意味着提示词未明确说明应使用工具,更清晰的工具描述可以解决此问题。停滞的代理可能仅仅是因为试用密钥上的并行调用而排队,因此降低并发度。
保留失败请求 ID 头 (X-Request-Id) 的备注。如果问题是服务端的,支持页面 解释了如何报告,该 ID 可以加快处理速度。
