Điểm chính
- Trong Python, dùng ChatOpenAI(base_url=..., api_key=..., model="uncensored"). Trong JavaScript, dùng configuration.baseURL.
- Prompts, chains, streaming, liên kết công cụ và chế độ JSON vẫn hoạt động thông qua các giao diện tiêu chuẩn.
- Embeddings không được cung cấp, nên OpenAIEmbeddings phải trỏ đến một dịch vụ khác.
- Dùng max_concurrency là 8 trên khóa đầy đủ và để cơ chế thử lại xử lý các phản hồi 429.
Thay đổi hai dòng
Khi bạn tìm kiếm langchain openai base url, câu trả lời rất ngắn. Lớp chat OpenAI của LangChain bao bọc SDK OpenAI, và SDK đó chấp nhận một base URL tùy chỉnh. Hãy trỏ nó vào dịch vụ này và không có gì khác trong chain của bạn cần thay đổi. Hãy cài đặt các gói với pip install langchain-openai langchain-core trước tiên.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key="YOUR_KEY",
temperature=0.8,
)
print(llm.invoke("Describe a rainy harbor town in two sentences.").content)Đó là toàn bộ quá trình tích hợp. Dịch vụ tương thích với OpenAI nhưng là một sản phẩm riêng biệt: một mô hình trọng số mở, do nhà cung cấp độc lập vận hành, không từ chối sinh nội dung cho việc sử dụng hợp pháp của người trưởng thành. Đây không phải là API chính thức của OpenAI hay bất kỳ nhà cung cấp nào khác. Để lấy khóa, hãy truy cập trang khóa API; tài khoản mới có thể nhận $0.50 tín dụng dùng thử chỉ với một cú nhấp chuột, không cần thẻ.
Tại sao điều này hoạt động: ChatOpenAI tạo các yêu cầu hoàn thành chat tiêu chuẩn và gửi chúng đến địa chỉ được cung cấp. Dịch vụ trả về định dạng phản hồi tiêu chuẩn, vì vậy các đối tượng tin nhắn, callbacks và trình phân tích của LangChain hoạt động như khi đối với bất kỳ nhà cung cấp nào khác. Bạn giữ nguyên các lớp trừu tượng và chỉ thay đổi điểm đến. Vì điểm đến là một mô hình khác, bạn nên kiểm tra lại các prompt của mình. Một prompt được viết để ép một mô hình hạn chế hợp tác có thể không cần thiết ở đây, và các hướng dẫn ngắn hơn thường hoạt động tốt hơn.
Biến môi trường hoặc đối số tường minh
Bạn có thể cấu hình cùng thứ thông qua môi trường, và điều này hữu ích cho việc triển khai. SDK OpenAI đọc OPENAI_BASE_URL và OPENAI_API_KEY. Tài liệu LangChain cũ dùng OPENAI_API_BASE cho cùng mục đích. Vì tên đã thay đổi giữa các phiên bản, thói quen an toàn nhất là truyền base_url và api_key một cách tường minh và đọc biến của riêng bạn.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=3,
timeout=120,
)Một lợi ích thực sự của các đối số rõ ràng: nếu dự án của bạn cũng sử dụng nhà cung cấp khác cho các nhiệm vụ khác, một biến toàn cục lạc không thể chuyển hướng lưu lượng đó sang nơi sai. Hai đối tượng ChatOpenAI với các base URL khác nhau sống hòa bình trong cùng một quy trình.
Cài đặt tương tự trong LangChain.js
Trong gói JavaScript, base URL nằm trong một đối tượng configuration được chuyển cho SDK nền tảng.
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.UNCENSORED_API_KEY,
configuration: {
baseURL: "https://api.openaiapiproxy.com/v1",
},
});
const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);Viết hoa là bẫy thường gặp: Python dùng base_url, SDK JavaScript dùng baseURL.
Một prompt, một mô hình và một trình phân tích
Khi mô hình chat được xây dựng, ngôn ngữ biểu thức LangChain hoạt động như bình thường. Chain này chuyển đổi một chủ đề thành một cảnh ngắn và trả về một chuỗi văn bản thuần.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You write short scenes for an adult fiction platform."),
("human", "Write a scene about: {topic}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))
for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
print(piece, end="", flush=True)Streaming dựa trên các sự kiện do máy chủ gửi của dịch vụ, những sự kiện này xuất hiện khi mô hình tạo ra chúng. Một lệnh gọi streaming chiếm một slot đồng thời cho đến khi nó kết thúc.
Toán tử | kết hợp các runnables, vì vậy cùng một chain sau đó có thể thêm một retriever, một lệnh gọi mô hình thứ hai hoặc một trình phân tích đầu ra mà không cần chạm vào các bước trước đó. Nếu bạn di chuyển một mẫu prompt giữa các nhà cung cấp, hãy giữ mẫu trong một tệp để bạn có thể kiểm soát phiên bản của nó riêng biệt với cài đặt endpoint.
Gọi hàm và xuất JSON
LangChain chuyển đổi các hàm Python thành lược đồ công cụ bằng cách sử dụng trình trang trí @tool và gửi chúng qua tham số tools tiêu chuẩn. Dịch vụ hỗ trợ tools, tool_choice và tool_calls được truyền phát, vì vậy bind_tools hoạt động.
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def lookup_character(name: str) -> str:
"""Return the notes for a character in the story bible."""
notes = {"Mara": "A ferry pilot with a fear of deep water."}
return notes.get(name, "No notes.")
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])
reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
print(call["name"], call["args"])
print(lookup_character.invoke(call["args"]))Đối với chế độ JSON, hãy ràng buộc định dạng phản hồi và đề cập đến JSON trong hướng dẫn của bạn:
import json
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})
msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))Ngay cả với chế độ JSON, hãy bao bọc việc phân tích trong xử lý lỗi. Bất kể nhà cung cấp nào, đầu ra bị lỗi định dạng thỉnh thoảng vẫn xảy ra, và một lần thử lại với lỗi phân tích đính kèm thường sẽ khắc phục nó.
Lịch sử chat và tài liệu dài
Các mô hình chat LangChain nhận một danh sách tin nhắn, và lịch sử thuộc về bạn để quản lý. Các lớp tin nhắn làm rõ các vai trò, điều này rõ ràng hơn các tuple khi một prompt có nhiều phần.
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
messages = [
SystemMessage(content="You are the narrator of a slow-burn mystery."),
HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)Cửa sổ ngữ cảnh là 100,000 token, bao gồm cả prompt và completion. Đó là chỗ cho lịch sử chat dài, bảng nhân vật và vài trang tài liệu tham khảo trong một lệnh gọi. Điều đó không có nghĩa là bạn nên luôn lấp đầy nó. Token đầu vào được tính phí $0.15 cho mỗi 1M, vì vậy một prompt 60,000 token tốn 60,000 / 1,000,000 x $0.15 = $0.009 cho mỗi lệnh gọi trước khi mô hình viết một từ. Một bước truy xuất chỉ gửi ba trang liên quan sẽ rẻ hơn và thường cho câu trả lời tốt hơn.
Khi một prompt được xây dựng từ nhiều văn bản được truy xuất, hãy nhớ giới hạn 8 MB trên thân yêu cầu. Nó cao hơn nhiều so với những gì cửa sổ token cho phép với văn bản bình thường, vì vậy bạn thường sẽ chạm vào giới hạn token trước, nhưng dữ liệu dán với các chuỗi dài không ngắt quãng có thể hoạt động khác.
Giới hạn tốc độ, batch và agents
LangChain khiến công việc song song trở nên dễ dàng, đó chính xác là cách bạn vô tình chạm giới hạn. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút. Khóa dùng thử cho phép 2 và 60. Hãy sử dụng đối số cấu hình để giới hạn độ song song trong các batch.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
titles = llm.batch(
[f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
config={"max_concurrency": 8},
)
for t in titles:
print(t.content)Nếu bạn thấy HTTP 429, mã lỗi cho biết lý do: rate_limited cho yêu cầu mỗi phút, concurrency cho quá nhiều cùng lúc. Khi quá tải tạm thời, phản hồi bao gồm Retry-After: 5. Logic thử lại trong SDK nền tảng xử lý hầu hết điều này, nhưng các agent phân nhánh thành nhiều lệnh gọi công cụ song song vẫn có thể làm đầy khóa dùng thử, vì vậy hãy giảm max_concurrency xuống 2 ở đó.
Vòng lặp agent: mỗi bước gửi lại cuộc trò chuyện đang phát triển làm đầu vào, vì vậy token đầu vào tích lũy nhanh hơn token đầu ra. Ở mức $0.15 cho mỗi 1M đầu vào và $0.50 cho mỗi 1M đầu ra, một lần chạy agent gửi tổng cộng 60,000 token đầu vào và tạo ra 6,000 token đầu ra tốn 60,000 / 1,000,000 x $0.15 + 6,000 / 1,000,000 x $0.50 = $0.009 + $0.003 = $0.012. trang giá cả hiển thị kích thước nạp tiền.
Những gì không giữ nguyên
- Embeddings. Không có endpoint embeddings. Nếu chain truy xuất của bạn dựa vào
OpenAIEmbeddings, hãy sử dụng nguồn embedding khác cho phần đó và chỉ giữ lại mô hình chat ở đây. - Hình ảnh và âm thanh. Dịch vụ chỉ hỗ trợ văn bản.
- Chuyển đổi mô hình. Có một mô hình,
uncensored. Một danh sách thả xuống các tên mô hình của nhà cung cấp sẽ không khớp. - Đếm token theo tên. Các thư viện đoán số token từ tên mô hình có thể sử dụng phương án ước lượng. Để có số thực, hãy đọc
usage_metadatatrên tin nhắn phản hồi.
Cửa sổ ngữ cảnh là 100,000 token cho prompt và completion cùng nhau, điều này rất hào phóng cho lịch sử chat dài và nhồi tài liệu. Hãy kiểm tra tài liệu để có danh sách đầy đủ các tham số, và nhớ rằng mô hình không từ chối nội dung người lớn hợp pháp, vì vậy hãy thêm bộ lọc của riêng bạn vào bất kỳ chain nào công khai. Quy tắc cứng là không có nội dung tình dục liên quan đến người chưa thành niên.
Gỡ lỗi một chain hoạt động sai
Khi một chain đưa ra đầu ra kỳ lạ, hãy tìm hiểu những gì thực sự đã đi qua dây trước khi bạn thay đổi prompt. Ba công cụ hỗ trợ, theo mức độ công sức.
- In metadata phản hồi. Tin nhắn trả về từ
invokechứaresponse_metadatavàusage_metadata. Bạn có thể kiểm tra lý do kết thúc và số lượng token mà không cần thiết lập thêm. - Bật ghi nhật ký gỡ lỗi.
set_debug(True)từlangchain_core.globalsin ra mọi prompt và phản hồi trong một chain. Chỉ sử dụng nó trong môi trường phát triển vì nó in toàn bộ các prompt. - Phát lại cuộc gọi bằng curl. Sao chép các tin nhắn đã được render từ đầu ra gỡ lỗi vào một yêu cầu đến
https://api.openaiapiproxy.com/v1/chat/completions. Nếu curl hoạt động giống nhau, vấn đề nằm ở prompt của bạn. Nếu khác biệt, vấn đề nằm ở chain.
Các triệu chứng điển hình và nơi cần kiểm tra: lỗi không tìm thấy thường có nghĩa là base URL có /v1 bị nhân đôi hoặc bị thiếu. Thông báo về mô hình không xác định có nghĩa là tên không phải là uncensored. Danh sách các lệnh gọi công cụ trống thường có nghĩa là prompt không làm rõ rằng công cụ nên được sử dụng, điều mà một mô tả công cụ rõ ràng hơn sẽ khắc phục. Và một agent bị treo có thể đơn giản là đang chờ hàng đợi sau các yêu cầu đồng thời của chính nó trên khóa dùng thử, vì vậy hãy giảm độ đồng thời.
Hãy ghi lại tiêu đề ID yêu cầu (X-Request-Id) từ các lỗi. Nếu một vấn đề nằm ở phía dịch vụ, trang hỗ trợ giải thích cách báo cáo nó, và ID đó sẽ đẩy nhanh quá trình.
