HI ▾

openaiapiproxy.comLangChain OpenAI Base URL: एक कस्टम LLM API का उपयोग करें

LangChain OpenAI Base URL: एक कस्टम LLM API का उपयोग करें

langchain openai base url ChatOpenAI में एक कंस्ट्रक्टर तर्क है। इसे https://api.openaiapiproxy.com/v1 पर सेट करें, अपनी कुंजी पास करें और मॉडल नाम uncensored का उपयोग करें, और हर चेन और एजेंट जो एक चैट मॉडल लेते हैं, वे उस पर चलेंगे।

अपडेट किया गया

चमकते लिंक्स की एक श्रृंखला जिसके अंत में एक चमकीला गोला है, जो एक कस्टम मॉडल से जुड़ी LangChain पाइपलाइन का प्रतिनिधित्व करता है

मुख्य बिंदु

  • Python में ChatOpenAI(base_url=..., api_key=..., model="uncensored") का उपयोग करें। JavaScript में configuration.baseURL का उपयोग करें।
  • प्रॉम्प्ट, चेन्स, स्ट्रीमिंग, टूल बाइंडिंग और JSON मोड मानक इंटरफ़ेस के माध्यम से काम करते रहते हैं।
  • एम्बेडिंग्स प्रदान नहीं किए जाते, इसलिए OpenAIEmbeddings को किसी अन्य सेवा पर इंगित करना होगा।
  • पूर्ण कुंजी पर max_concurrency 8 का उपयोग करें और 429 प्रतिक्रियाओं के लिए रीट्राइज़ को संभालने दें।

दो-पंक्ति का बदलाव

जब आप langchain openai base url के लिए खोजते हैं, तो उत्तर छोटा होता है। LangChain का OpenAI चैट क्लास OpenAI SDK को घेरता है, और वह SDK एक कस्टम बेस यूआरएल स्वीकार करता है। इसे इस सेवा पर इंगित करें और आपकी चेन में कुछ भी बदलने की आवश्यकता नहीं है। पहले pip install langchain-openai langchain-core के साथ पैकेज इंस्टॉल करें।

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key="YOUR_KEY",
    temperature=0.8,
)

print(llm.invoke("Describe a rainy harbor town in two sentences.").content)

यह पूरा इंटीग्रेशन है। सेवा OpenAI-कम्पैटिबल है, लेकिन यह एक अलग उत्पाद है: एक ओपन-वेट मॉडल, एक स्वतंत्र प्रदाता द्वारा चलाया गया, कानूनी वयस्क उपयोग के लिए बिना सेंसर। यह OpenAI या किसी अन्य वेंडर की आधिकारिक API नहीं है। कुंजी प्राप्त करने के लिए, API कुंजी पेज का उपयोग करें; नए खाते एक क्लिक के साथ $0.50 का ट्रायल दावा कर सकते हैं, बिना किसी कार्ड के।

यह क्यों काम करता है: ChatOpenAI मानक चैट कंप्लीशन अनुरोध बनाता है और उन्हें उस पते पर भेजता है जिसे उसे दिया गया है। सेवा मानक प्रतिक्रिया आकार के साथ उत्तर देती है, इसलिए LangChain के संदेश ऑब्जेक्ट्स, कॉलबैक्स और पार्सर किसी अन्य प्रदाता के खिलाफ जैसे व्यवहार करते हैं, वैसा ही व्यवहार करते हैं। आप वही एब्स्ट्रैक्शन रखते हैं, और केवल गंतव्य बदलता है। क्योंकि गंतव्य एक अलग मॉडल है, आपको अपने प्रॉम्प्ट का पुनः परीक्षण करना चाहिए। एक प्रॉम्प्ट जो एक प्रतिबंधित मॉडल को सहयोग करने के लिए प्रेरित करने के लिए लिखा गया है, यहाँ अनावश्यक हो सकता है, और छोटे निर्देश अक्सर बेहतर काम करते हैं।

पर्यावरण चर या स्पष्ट तर्क

आप इसे वातावरण के माध्यम से भी कॉन्फ़िगर कर सकते हैं, जो डिप्लॉयमेंट के लिए सुविधाजनक है। OpenAI SDK OPENAI_BASE_URL और OPENAI_API_KEY पढ़ता है। पुराने LangChain दस्तावेज़ों ने इसी उद्देश्य के लिए OPENAI_API_BASE का उपयोग किया था। चूँकि नाम संस्करणों के बीच बदले हैं, सबसे सुरक्षित आदत यह है कि आप base_url और api_key स्पष्ट रूप से पास करें और अपनी स्वयं की वेरिएबल पढ़ें।

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    max_retries=3,
    timeout=120,
)

स्पष्ट तर्कों का एक वास्तविक लाभ: यदि आपका प्रोजेक्ट अन्य कार्यों के लिए एक अन्य प्रदाता का भी उपयोग करता है, तो एक अकेला वैश्विक चर उस ट्राफ़िक को गलत जगह पर रीडायरेक्ट नहीं कर सकता। दो ChatOpenAI ऑब्जेक्ट्स अलग-अलग बेस यूआरएल के साथ एक ही प्रोसेस में खुशी से रहते हैं।

LangChain.js में वही सेटिंग

जावास्क्रिप्ट पैकेज में, बेस यूआरएल एक configuration ऑब्जेक्ट के अंदर जाता है जिसे अंडरलाइंग SDK को दिया जाता है।

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.UNCENSORED_API_KEY,
  configuration: {
    baseURL: "https://api.openaiapiproxy.com/v1",
  },
});

const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);

कैपिटलाइज़ेशन एक आम फँद है: Python base_url का उपयोग करता है, जबकि JavaScript SDK baseURL का उपयोग करता है।

एक प्रॉम्प्ट, एक मॉडल और एक पार्सर

एक बार चैट मॉडल बन जाने के बाद, LangChain एक्सप्रेशन लैंग्वेज जैसे ही काम करती है। यह चेन एक विषय को एक छोटे दृश्य में बदल देती है और एक साधारण स्ट्रिंग लौटाती है।

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You write short scenes for an adult fiction platform."),
    ("human", "Write a scene about: {topic}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))

for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
    print(piece, end="", flush=True)

स्ट्रीमिंग सेवा के सर्वर-सेंट इवेंट्स पर निर्भर करता है, जो मॉडल द्वारा जनरेट होने पर आते हैं। एक स्ट्रीम किए गए कॉल में समाप्ति तक एक समानांतर अनुरोध स्लॉट होता है।

| ऑपरेटर रनएबल्स को कंपोज करता है, इसलिए वही चेन बाद में एक रिट्रीवर, एक दूसरा मॉडल कॉल या एक आउटपुट पार्सर प्राप्त कर सकती है बिना पहले चरणों को छुए। यदि आप एक प्रॉम्प्ट टेम्पलेट को प्रदाताओं के बीच ले जाते हैं, तो टेम्पलेट को एक फ़ाइल में रखें ताकि आप इसे एंडपॉइंट सेटिंग्स से अलग वर्शन कर सकें।

फ़ंक्शन कॉलिंग और JSON आउटपुट

LangChain Python फ़ंक्शन्स को @tool डेकोरेटर के साथ टूल स्कीमा में बदल देता है और उन्हें मानक tools पैरामीटर के माध्यम से भेजता है। सेवा tools, tool_choice और स्ट्रीम किए गए tool_calls का समर्थन करती है, इसलिए bind_tools काम करता है।

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def lookup_character(name: str) -> str:
    """Return the notes for a character in the story bible."""
    notes = {"Mara": "A ferry pilot with a fear of deep water."}
    return notes.get(name, "No notes.")

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])

reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
    print(call["name"], call["args"])
    print(lookup_character.invoke(call["args"]))

JSON मोड के लिए, रिस्पॉन्स फॉर्मेट बाइंड करें और अपने निर्देशों में JSON का उल्लेख करें:

import json
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})

msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))

यहां तक कि JSON मोड के साथ भी, पार्सिंग को एरर हैंडलिंग में लपेटें। प्रोवाइडर चाहे जो भी हो, खराब आउटपुट कभी-कभी होता है, और एक अटैच किए गए पार्स एरर के साथ एक पुनः प्रयास आमतौर पर इसे ठीक कर देता है।

चैट इतिहास और लंबे दस्तावेज़

LangChain चैट मॉडल्स संदेशों की एक सूची लेते हैं, और इतिहास आपका प्रबंधन करने के लिए है। संदेश क्लासें भूमिकाओं को स्पष्ट बनाती हैं, जो एक प्रॉम्प्ट में कई भाग होने पर ट्युपल्स से अधिक स्पष्ट है।

from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

messages = [
    SystemMessage(content="You are the narrator of a slow-burn mystery."),
    HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)

कॉन्टेक्स्ट विंडो 100,000 टोकन की है, प्रॉम्प्ट और कंप्लीशन मिलाकर। इसका मतलब है कि एक कॉल में लंबे चैट इतिहास, एक पात्र पत्रक और संदर्भ टेक्स्ट के कई पेज समा सकते हैं। इसका मतलब यह नहीं है कि आपको हमेशा इसे भरना चाहिए। इनपुट टोकन की कीमत $0.15 प्रति 1M है, इसलिए 60,000 टोकन वाले प्रॉम्प्ट की लागत 60,000 / 1,000,000 x $0.15 = $0.009 प्रति कॉल होती है, मॉडल द्वारा एक शब्द लिखने से पहले। एक रेट्रीवल स्टेप जो केवल प्रासंगिक तीन पेज भेजता है, सस्ता है और अक्सर बेहतर जवाब देता है।

जब एक प्रॉम्प्ट बहुत सारे रिट्रीव किए गए टेक्स्ट से बना होता है, तो अनुरोध बॉडी पर 8 MB की सीमा को याद रखें। यह सामान्य टेक्स्ट के लिए टोकन विंडो द्वारा अनुमत मात्रा से बहुत ऊपर है, इसलिए आप आमतौर पर पहले टोकन सीमा पर पहुंच जाएंगे, लेकिन पेस्ट किए गए डेटा के साथ लंबे निरंतर स्ट्रिंग्स अलग व्यवहार कर सकते हैं।

रेट लिमिट, बैच और एजेंट्स

LangChain में समानांतर अनुरोध करना आसान है, जिससे आप गलती से रेट लिमिट तक पहुँच जाते हैं। एक पूर्ण API कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 अनुरोध की अनुमति देती है। एक ट्रायल API कुंजी 2 और 60 की अनुमति देती है। बैचों में समानांतरता को सीमित करने के लिए config तर्क का उपयोग करें।

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)

titles = llm.batch(
    [f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
    config={"max_concurrency": 8},
)
for t in titles:
    print(t.content)

यदि आपको HTTP 429 दिखता है, तो एरर कोड बताता है कि क्यों: rate_limited प्रति मिनट अनुरोधों के लिए, concurrency एक साथ बहुत अधिक के लिए। अस्थायी ओवरलोड पर, रिस्पॉन्स में Retry-After: 5 शामिल होता है। अंडरलाइंग SDK में पुनः प्रयास लॉजिक इसका अधिकांश हिस्सा संभाल लेता है, लेकिन ऐसे एजेंट जो कई समानांतर टूल कॉल में फैलते हैं, वे अभी भी एक ट्रायल कुंजी को संतृप्त कर सकते हैं, इसलिए वहां max_concurrency को 2 तक कम करें।

एजेंट लूप: प्रत्येक चरण में बढ़ती हुई बातचीत को इनपुट के रूप में वापस भेजा जाता है, इसलिए इनपुट टोकन आउटपुट टोकन की तुलना में तेज़ी से जुड़ जाते हैं। 1M इनपुट प्रति $0.15 और 1M आउटपुट प्रति $0.50 पर, एक एजेंट रन जो कुल मिलाकर 60,000 इनपुट टोकन भेजता है और 6,000 आउटपुट टोकन उत्पन्न करता है, उसकी लागत 60,000 / 1,000,000 x $0.15 + 6,000 / 1,000,000 x $0.50 = $0.009 + $0.003 = $0.012 होती है। मूल्य निर्धारण पृष्ठ टॉप-अप आकार दिखाता है।

क्या आगे नहीं बढ़ता

  • एम्बेडिंग्स। कोई एम्बेडिंग्स एंडपॉइंट नहीं है। यदि आपकी रिट्रीवल चेन OpenAIEmbeddings पर निर्मित है, तो उस भाग के लिए एक अलग एम्बेडिंग स्रोत का उपयोग करें और केवल चैट मॉडल यहाँ रखें।
  • छवियाँ और ऑडियो। सेवा केवल टेक्स्ट के लिए है।
  • मॉडल स्विचिंग। एक ही मॉडल है, uncensored। वेंडर मॉडल नामों की एक ड्रॉपडाउन मेल नहीं खाएगी।
  • नाम से टोकन गिनती। लाइब्रेरी जो मॉडल नाम से टोकन गिनती का अनुमान लगाती हैं, वे एक अनुमान पर वापस आ सकती हैं। वास्तविक संख्याओं के लिए, प्रतिक्रिया संदेश पर usage_metadata पढ़ें।

प्रॉम्प्ट और कंप्लीशन दोनों के लिए कॉन्टेक्स्ट विंडो 100,000 टोकन है, जो लंबी चैट इतिहास और दस्तावेज भरण के लिए पर्याप्त है। पैरामीटर की पूरी सूची के लिए docs देखें, और याद रखें कि मॉडल कानूनी वयस्क सामग्री को अस्वीकार नहीं करता है, इसलिए किसी भी सार्वजनिक चेन में अपने फिल्टर जोड़ें। कठोर नियम नाबालिगों से जुड़ी यौन सामग्री नहीं है।

एक चेन को डिबग करना जो गलत व्यवहार करती है

जब एक चेन अजीब आउटपुट देती है, तो प्रॉम्प्ट बदलने से पहले यह पता लगाएं कि वायर पर वास्तव में क्या गया। प्रयास के क्रम में तीन उपकरण मदद करते हैं।

  1. प्रतिक्रिया मेटाडेटा प्रिंट करें। invoke द्वारा लौटाया गया संदेश response_metadata और usage_metadata ले जाता है। आप बिना किसी अतिरिक्त सेटअप के फिनिश कारण और टोकन गिनती की जांच कर सकते हैं।
  2. डिबग लॉगिंग चालू करें। set_debug(True) langchain_core.globals से प्रत्येक प्रॉम्प्ट और प्रतिक्रिया को एक चेन में प्रिंट करता है। इसे केवल विकास में उपयोग करें, क्योंकि यह पूर्ण प्रॉम्प्ट प्रिंट करता है।
  3. curl के साथ कॉल को रीप्ले करें। डीबग आउटपुट से रेंडर किए गए संदेशों को https://api.openaiapiproxy.com/v1/chat/completions में एक अनुरोध में कॉपी करें। यदि curl समान व्यवहार करता है, तो समस्या आपके प्रॉम्प्ट में है। यदि यह अलग है, तो समस्या चेन में है।

आम लक्षण और जहां देखना है: एक नॉट-फाउंड एरर आमतौर पर इसका मतलब है कि बेस URL में एक डबल्ड /v1 है या वह गायब है। एक अज्ञात मॉडल के बारे में संदेश का मतलब है कि नाम uncensored नहीं है। खाली टूल कॉल लिस्ट अक्सर इसका मतलब है कि प्रॉम्प्ट में यह स्पष्ट नहीं था कि टूल का उपयोग किया जाना चाहिए, जिसे एक स्पष्ट टूल डिस्क्रिप्शन ठीक कर देता है। और एक एजेंट जो रुक जाता है, वह शायद ट्रायल कुंजी पर अपने समानांतर कॉल के पीछे कतार में है, इसलिए कॉन्करेंसी को कम करें।

अनुरोध ID हेडर (X-Request-Id) का नोट रखें। यदि समस्या सेवा पक्ष पर है, तो सहायता पृष्ठ पर इसे रिपोर्ट करने का तरीका बताया गया है, और वह ID प्रक्रिया को तेज़ करता है।

प्रश्न और उत्तर

LangChain में उपयोग करने के लिए मॉडल नाम क्या है?

uncensored का उपयोग करें। यह एकमात्र मॉडल ID है, और GET /v1/models इसे लौटाता है।

क्या यह ChatOpenAI है या OpenAI जो बेस URL लेता है?

चैट पूर्णताओं के लिए langchain-openai से ChatOpenAI का उपयोग करें। यह Python में base_url और JavaScript में configuration.baseURL लेता है।

क्या मैं इस एंडपॉइंट के साथ OpenAIEmbeddings का उपयोग कर सकता हूँ?

नहीं। एम्बेडिंग्स प्रस्तावित नहीं हैं, इसलिए एम्बेडिंग्स क्लास को एक अलग सेवा की ओर इशारा करें।

मुझे बैच में HTTP 429 क्यों मिलता है?

आपने एक पूर्ण कुंजी पर 8 समानांतर अनुरोध या प्रति मिनट 300 अनुरोध से अधिक कर दिया है, या एक ट्रायल कुंजी पर 2 और 60। max_concurrency सेट करें और पुनः प्रयास पर भरोसा करें।

आपकी कुंजी बस एक फ़ॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप बस इतना ही है।

API कुंजी पाएँ