重點摘要
- 在 Python 中使用 ChatOpenAI(base_url=..., api_key=..., model="uncensored")。在 JavaScript 中使用 configuration.baseURL。
- 透過標準介面,提示詞、鏈、串流輸出、工具繫結和 JSON 模式仍可正常運作。
- 不提供嵌入功能,因此 OpenAIEmbeddings 必須指向其他服務。
- 對完整金鑰使用 max_concurrency 8,讓重試機制處理 429 回應。
兩行變更
當你搜尋 langchain openai base url 時,答案很簡單。LangChain 的 OpenAI 聊天類別封裝了 OpenAI SDK,而該 SDK 接受自訂 base URL。將其指向此服務,你的鏈中其他部分就不需要變更。首先安裝套件 pip install langchain-openai langchain-core。
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key="YOUR_KEY",
temperature=0.8,
)
print(llm.invoke("Describe a rainy harbor town in two sentences.").content)這就是完整的整合。該服務相容 OpenAI,但它是獨立產品:一個開放權重模型,由獨立供應商運行,對合法成人用途無內容審查。它不是 OpenAI 或其他廠商的官方 API。要取得金鑰,請使用 API 金鑰頁面;新帳戶可以一鍵領取 $0.50 試用額度,無需信用卡。
運作原理:ChatOpenAI 會建立標準聊天補全請求,並將其傳送至指定的地址。服務會以標準回應格式回應,因此 LangChain 的訊息物件、回呼和解析器行為與對任何其他供應商相同。你保留相同的抽象層,僅目的地變更。由於目的地是不同的模型,你應重新測試提示詞。為引導限制型模型而寫的提示詞在此可能不需要,較短的指示通常效果更好。
環境變數或明確參數
你可以透過環境設定相同內容,這在部署時很方便。OpenAI SDK 會讀取 OPENAI_BASE_URL 和 OPENAI_API_KEY。舊版 LangChain 文件使用 OPENAI_API_BASE 達到相同目的。由於名稱在不同版本間有所變更,最安全的習慣是明確傳遞 base_url 和 api_key,並讀取你自己的變數。
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=3,
timeout=120,
)明確參數的實際好處:如果你的專案也使用其他供應商處理其他任務,雜亂的全域變數不會將流量導向錯誤的位置。兩個具有不同 base URL 的 ChatOpenAI 物件可以在同一個處理程序中和平共存。
LangChain.js 中的相同設定
在 JavaScript 套件中,base URL 位於傳遞給底層 SDK 的 configuration 物件內。
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.UNCENSORED_API_KEY,
configuration: {
baseURL: "https://api.openaiapiproxy.com/v1",
},
});
const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);大小寫是常見陷阱:Python 使用 base_url,JavaScript SDK 使用 baseURL。
提示詞、模型與解析器
一旦建立聊天模型,LangChain 表達式語言即可正常使用。此鏈將主題轉換為短篇場景並回傳純文字。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You write short scenes for an adult fiction platform."),
("human", "Write a scene about: {topic}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))
for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
print(piece, end="", flush=True)串流依賴服務的伺服器發送事件,這些事件隨模型生成而到達。串流呼叫會佔用一個並行槽位,直到完成為止。
| 運算子會組合可運行物件,因此同一個鏈之後可以新增檢索器、第二次模型呼叫或輸出解析器,而不需更動先前步驟。若在供應商之間移動提示詞模板,請將模板保存在檔案中,以便與端點設定分開版本控制。
函式呼叫與 JSON 輸出
LangChain 使用 @tool 裝飾器將 Python 函式轉換為工具架構,並透過標準 tools 參數傳送。該服務支援 tools、tool_choice 以及串流輸出的 tool_calls,因此 bind_tools 可正常運作。
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def lookup_character(name: str) -> str:
"""Return the notes for a character in the story bible."""
notes = {"Mara": "A ferry pilot with a fear of deep water."}
return notes.get(name, "No notes.")
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])
reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
print(call["name"], call["args"])
print(lookup_character.invoke(call["args"]))對於 JSON 模式,綁定回應格式並在指示中提及 JSON:
import json
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})
msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))即使使用 JSON 模式,也請將解析包裝在錯誤處理中。無論供應商為何,偶爾會發生格式錯誤的輸出,附加解析錯誤的重試通常能解決問題。
聊天歷史與長文件
LangChain 聊天模型接受訊息列表,歷史紀錄由你管理。訊息類別使角色明確,這比元組更清晰,特別是當提示詞有多個部分時。
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
messages = [
SystemMessage(content="You are the narrator of a slow-burn mystery."),
HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)上下文視窗為 100,000 token,包含提示詞和補全。這足以在一次呼叫中容納長聊天歷史、角色設定表和數頁參考文本。這不代表你應總是填滿它。輸入 token 每 1M 收費 $0.15,因此 60,000 token 的提示詞成本為 60,000 / 1,000,000 x $0.15 = $0.009,在模型寫入任何文字之前。僅傳送相關三頁的檢索步驟更便宜,且通常能提供更好的答案。
當提示詞由大量檢索文本構成時,請記住請求主體的 8 MB 限制。這遠高於正常文本的 token 視窗限制,所以你通常會先達到 token 限制,但包含長連續字串的貼上資料行為可能不同。
速率限制、批次與代理
LangChain 使並行工作變得容易,這正是你意外達到限制的原因。完整金鑰允許 8 個並行請求和每分鐘 300 次。試用金鑰允許 2 個和 60 次。使用 config 參數限制批次中的並行性。
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
titles = llm.batch(
[f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
config={"max_concurrency": 8},
)
for t in titles:
print(t.content)若看到 HTTP 429,錯誤代碼說明了原因:rate_limited 表示每分鐘請求數,concurrency 表示同時過多。在暫時過載時,回應包含 Retry-After: 5。底層 SDK 的重試邏輯處理了大部分情況,但將請求分派到許多並行工具呼叫的代理仍可能使試用金鑰飽和,因此在該處將 max_concurrency 降低至 2。
Agent 循環:每個步驟將逐漸增長的對話作為輸入發送,因此輸入 token 比輸出 token 累積得更快。每 1M 輸入 token 為 $0.15,每 1M 輸出 token 為 $0.50。總共發送 60,000 輸入 token 並產生 6,000 輸出 token 的 agent 運行成本為 60,000 / 1,000,000 x $0.15 + 6,000 / 1,000,000 x $0.50 = $0.009 + $0.003 = $0.012。定價頁面顯示儲值金額。
哪些內容無法保留
- 嵌入功能。 沒有嵌入端點。如果你的檢索鏈基於
OpenAIEmbeddings,請對該部分使用其他嵌入來源,僅在此保留聊天模型。 - 圖像和音訊。 該服務僅限文字。
- 模型切換。 只有一個模型
uncensored。供應商模型名稱的下拉選單將不匹配。 - 依名稱計算 token。 根據模型名稱猜測 token 數量的程式庫可能會回退到近似值。要取得實際數字,請讀取回應訊息上的
usage_metadata。
上下文視窗為 100,000 token,包含提示詞和補全,對於長聊天歷史和文件填充相當寬鬆。查看 文件 以獲取參數完整列表,並記住該模型不會拒絕合法的成人內容,因此請在任何公開鏈中添加你自己的過濾器。硬性規定是不得涉及未成年人的性內容。
除錯行為異常的鏈
當鏈產生異常輸出時,在變更提示詞之前,先找出實際通過網路傳輸的內容。有三種工具可協助,依工作量排序。
- 列印回應中繼資料。
invoke回傳的訊息包含response_metadata和usage_metadata。你可以檢查完成原因和 token 數量,無需額外設定。 - 開啟除錯記錄。
set_debug(True)來自langchain_core.globals會列印鏈中的每個提示詞和回應。僅在開發中使用,因為它會列印完整的提示詞。 - 使用 curl 重播呼叫。 將除錯輸出中的已渲染訊息複製到請求
https://api.openaiapiproxy.com/v1/chat/completions。如果 curl 行為相同,問題出在你的提示詞。如果不同,問題出在鏈中。
常見症狀與排查位置:找不到錯誤通常表示基礎 URL 重複了 /v1 或遺漏了它。未知模型訊息表示名稱不是 uncensored。空白的工具呼叫列表通常表示提示詞未清楚說明應使用工具,透過更清晰的工具描述即可修正。而卡住的代理程式可能只是因為在試用金鑰上排隊等待其自身的並行請求,因此請降低並行數量。
記錄失敗的請求 ID 標頭 (X-Request-Id)。如果問題出在服務端,支援頁面 說明了如何回報,該 ID 可加快處理速度。
