TH ▾

openaiapiproxy.comLangChain Base URL แบบ OpenAI: ใช้ LLM API แบบกำหนดเอง

LangChain Base URL แบบ OpenAI: ใช้ LLM API แบบกำหนดเอง

langchain openai base url คืออาร์กิวเมนต์คอนสตรัคเตอร์ใน ChatOpenAI ตั้งค่าเป็น https://api.openaiapiproxy.com/v1 ส่งคีย์ของคุณ และใช้ชื่อโมเดล uncensored แล้วทุกโซ่และเอเจนต์ที่รับโมเดลแชทจะทำงานบนโมเดลนี้

อัปเดต

โซ่ของลิงก์เรืองแสงที่จบลงที่ทรงกลมสว่างหนึ่งดวง แสดงถึง LangChain pipeline ที่เชื่อมต่อกับโมเดลที่กำหนดเอง

ประเด็นสำคัญ

  • ใน Python ใช้ ChatOpenAI(base_url=..., api_key=..., model="uncensored") ใน JavaScript ใช้ configuration.baseURL.
  • พรอมต์, การทำงานต่อเนื่อง, สตรีมมิง, การผูกฟังก์ชัน และโหมด JSON ทำงานผ่านอินเทอร์เฟซมาตรฐานได้
  • ไม่มีการให้บริการ Embeddings ดังนั้น OpenAIEmbeddings ต้องชี้ไปที่บริการอื่น
  • ใช้ max_concurrency 8 บนคีย์เต็มและให้ retry จัดการกับสถานะ 429

การเปลี่ยนแปลงสองบรรทัด

เมื่อคุณค้นหา langchain openai base url คำตอบนั้นสั้นมาก คลาสแชท OpenAI ของ LangChain ห่อหุ้ม SDK ของ OpenAI และ SDK นั้นยอมรับ base URL แบบกำหนดเอง ชี้ไปที่บริการนี้และส่วนอื่นๆ ใน chain ของคุณไม่ต้องเปลี่ยนแปลง ติดตั้งแพ็กเกจด้วย pip install langchain-openai langchain-core ก่อน

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key="YOUR_KEY",
    temperature=0.8,
)

print(llm.invoke("Describe a rainy harbor town in two sentences.").content)

นี่คือการผสานรวมทั้งหมด บริการนี้เข้ากันได้กับ OpenAI แต่เป็นผลิตภัณฑ์แยกต่างหาก: โมเดล open-weight model หนึ่งโมเดล ดำเนินการโดยผู้ให้บริการอิสระ ไม่มีข้อจำกัดเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API อย่างเป็นทางการของ OpenAI หรือผู้ขายรายอื่น เพื่อรับคีย์ ให้ไปที่ หน้าคีย์ API; บัญชีใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกเดียว โดยไม่ต้องใช้บัตร

เหตุผลที่ใช้งานได้: ChatOpenAI สร้างคำขอแชทคอมพลีชันมาตรฐานและส่งไปยังที่อยู่ที่ได้รับ บริการตอบกลับด้วยรูปแบบการตอบกลับมาตรฐาน ดังนั้น message objects, callbacks และ parsers ของ LangChain จึงทำงานเหมือนเดิมเมื่อเทียบกับผู้ให้บริการรายอื่น คุณยังคงใช้ abstractions เดิม และเปลี่ยนเพียงปลายทางเท่านั้น เนื่องจากปลายทางเป็นโมเดลที่แตกต่างกัน คุณควรทดสอบพรอมต์ของคุณอีกครั้ง พรอมต์ที่เขียนขึ้นเพื่อจูงใจโมเดลที่มีข้อจำกัดให้ร่วมมืออาจไม่จำเป็นที่นี่ และคำแนะนำที่สั้นกว่ามักจะได้ผลดีกว่า

ตัวแปรสภาพแวดล้อมหรืออาร์กิวเมนต์แบบชัดเจน

คุณสามารถกำหนดค่าสิ่งเดียวกันผ่าน environment ซึ่งสะดวกสำหรับการปรับใช้ OpenAI SDK อ่านค่า OPENAI_BASE_URL และ OPENAI_API_KEY เอกสาร LangChain รุ่นเก่าใช้ OPENAI_API_BASE สำหรับวัตถุประสงค์เดียวกัน เนื่องจากชื่อเปลี่ยนระหว่างเวอร์ชัน วิธีที่ปลอดภัยที่สุดคือส่ง base_url และ api_key อย่างชัดเจน และอ่านค่าตัวแปรของคุณเอง

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    max_retries=3,
    timeout=120,
)

ประโยชน์อย่างหนึ่งของอาร์กิวเมนต์แบบชัดเจน: หากโปรเจกต์ของคุณใช้ผู้ให้บริการอื่นสำหรับงานอื่น ตัวแปร global ที่หลงเหลืออยู่จะไม่เปลี่ยน traffic นั้นไปยังที่ผิด มี ChatOpenAI สองวัตถุที่มี base URL ต่างกันทำงานร่วมกันใน process เดียวได้อย่างมีความสุข

การตั้งค่าเดียวกันใน LangChain.js

ในแพ็กเกจ JavaScript base URL จะอยู่ภายในวัตถุ configuration ที่ส่งไปยัง underlying SDK

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.UNCENSORED_API_KEY,
  configuration: {
    baseURL: "https://api.openaiapiproxy.com/v1",
  },
});

const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);

การพิมพ์ตัวพิมพ์ใหญ่คือกับดักทั่วไป: Python ใช้ base_url ส่วน SDK JavaScript ใช้ baseURL

พรอมต์ โมเดล และตัวแยกวิเคราะห์

เมื่อสร้างโมเดลแชทแล้ว ภาษาการแสดงออกของ LangChain จะทำงานตามปกติ chain นี้เปลี่ยนหัวข้อเป็นฉากสั้นๆ และส่งคืนสตริงธรรมดา

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You write short scenes for an adult fiction platform."),
    ("human", "Write a scene about: {topic}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))

for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
    print(piece, end="", flush=True)

การสตรีมพึ่งพาเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ของบริการ ซึ่งมาถึงขณะที่โมเดลกำลังสร้างผลลัพธ์ การเรียกแบบสตรีมจะครอบครองช่องความพร้อมใช้งานพร้อมกันหนึ่งช่องจนกว่าจะเสร็จสิ้น

ตัวดำเนินการ | รวม runnables ทำให้ chain เดียวกันสามารถเพิ่ม retriever การเรียกใช้โมเดลครั้งที่สอง หรือ output parser ได้โดยไม่แตะต้องขั้นตอนก่อนหน้า หากย้าย prompt template ระหว่างผู้ให้บริการ ให้เก็บ template ไว้ในไฟล์เพื่อให้สามารถ version แยกจากการตั้งค่าเอนด์พอยต์ได้

การเรียกใช้ฟังก์ชันและผลลัพธ์ JSON

LangChain เปลี่ยนฟังก์ชัน Python เป็น tool schemas ด้วยตัวตกแต่ง @tool และส่งผ่านพารามิเตอร์ tools มาตรฐาน บริการรองรับ tools, tool_choice และ streamed tool_calls ดังนั้น bind_tools จึงใช้งานได้

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def lookup_character(name: str) -> str:
    """Return the notes for a character in the story bible."""
    notes = {"Mara": "A ferry pilot with a fear of deep water."}
    return notes.get(name, "No notes.")

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])

reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
    print(call["name"], call["args"])
    print(lookup_character.invoke(call["args"]))

สำหรับโหมด JSON ให้ผูกรูปแบบการตอบกลับและระบุ JSON ในคำแนะนำของคุณ:

import json
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})

msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))

แม้ใช้ JSON mode ก็ควรห่อการ parsing ไว้ในการจัดการข้อผิดพลาด ไม่ว่าผู้ให้บริการใด ผลลัพธ์ที่ผิดรูปแบบอาจเกิดขึ้นเป็นครั้งคราว และการ retry เพียงครั้งพร้อมข้อผิดพลาดการ parsing มักจะแก้ไขได้

ประวัติแชทและเอกสารยาว

โมเดลแชทของ LangChain รับรายการข้อความ และประวัติเป็นของคุณในการจัดการ คลาสข้อความทำให้บทบาทชัดเจน ซึ่งชัดเจนกว่าการใช้ tuple เมื่อพรอมต์มีหลายส่วน

from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

messages = [
    SystemMessage(content="You are the narrator of a slow-burn mystery."),
    HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)

context window มี 100,000 tokens รวม prompt และ completion พื้นที่นี้รองรับประวัติแชทยาว แผ่นตัวละคร และข้อความอ้างอิงหลายหน้าในการเรียกใช้หนึ่งครั้ง ไม่ได้หมายความว่าคุณควรเติมเต็มเสมอ Input tokens คิดเงินที่ $0.15 ต่อ 1M ดังนั้นพรอมต์ 60,000 tokens มีค่าใช้จ่าย 60,000 / 1,000,000 x $0.15 = $0.009 ต่อการเรียกใช้ก่อนที่โมเดลจะเขียนคำใด การดึงข้อมูลที่ส่งเฉพาะสามหน้าที่เกี่ยวข้องมีค่าใช้จ่ายน้อยกว่าและมักให้คำตอบที่ดีกว่า

เมื่อสร้างพรอมต์จากข้อความที่ดึงมาจำนวนมาก โปรดจำข้อจำกัด 8 MB บน request body มันสูงกว่าที่หน้าต่างโทเคนอนุญาตสำหรับข้อความปกติ ดังนั้นคุณมักจะชนขีดจำกัดโทเคนก่อน แต่ข้อมูลที่วางพร้อมสตริงยาวต่อเนื่องอาจทำงานต่างออกไป

ขีดจำกัดอัตรา การทำแบทช์ และเอเจนต์

LangChain ทำให้การทำงานแบบขนานเป็นเรื่องง่าย ซึ่งนี่คือวิธีที่คุณชนขีดจำกัดโดยไม่ได้ตั้งใจ คีย์เต็มอนุญาตให้ทำคำขอพร้อมกัน 8 รายการและ 300 รายการต่อนาที คีย์ทดลองอนุญาตให้ทำ 2 และ 60 ใช้อาร์กิวเมนต์ config เพื่อจำกัด parallelism ใน batches

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)

titles = llm.batch(
    [f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
    config={"max_concurrency": 8},
)
for t in titles:
    print(t.content)

หากคุณเห็น HTTP 429 รหัสข้อผิดพลาดจะระบุสาเหตุ: rate_limited สำหรับคำขอต่อนาที, concurrency สำหรับจำนวนที่มากเกินไปพร้อมกัน เมื่อโหลดเกินชั่วคราว การตอบกลับจะรวม Retry-After: 5 การจัดการ retry ใน underlying SDK จัดการส่วนนี้ส่วนใหญ่ แต่ agents ที่กระจายไปยัง tool calls ขนานจำนวนมากอาจทำให้คีย์ทดลองเต็มได้ ดังนั้นให้ลด max_concurrency ลงเหลือ 2 ที่นั่น

Agents loop: แต่ละขั้นตอนส่งการสนทนาที่เติบโตขึ้นกลับเป็น input ดังนั้น input tokens จึงเพิ่มขึ้นเร็วกว่า output tokens ที่ $0.15 ต่อ 1M input และ $0.50 ต่อ 1M output การรัน agent ที่ส่ง input tokens รวม 60,000 และผลิต output tokens 6,000 มีค่าใช้จ่าย 60,000 / 1,000,000 x $0.15 + 6,000 / 1,000,000 x $0.50 = $0.009 + $0.003 = $0.012 หน้าราคา แสดงขนาดการเติมเงิน

สิ่งที่ไม่ได้ถ่ายโอน

  • Embeddings. ไม่มีเอนด์พอยต์ embeddings หากโซ่การดึงข้อมูลของคุณสร้างบน OpenAIEmbeddings ให้ใช้แหล่ง embedding อื่นสำหรับส่วนนั้นและเก็บเฉพาะแชทโมเดลไว้ที่นี่
  • รูปภาพและเสียง. บริการนี้รองรับเฉพาะข้อความ
  • การสลับโมเดล. มีโมเดลเดียวคือ uncensored รายการแบบเลื่อนลงของชื่อโมเดลจากผู้ผลิตอื่นจะไม่ตรงกัน
  • การนับโทเคนตามชื่อ. ไลบรารีที่ประมาณการจำนวนโทเคนจากชื่อโมเดลอาจตกลงสู่การประมาณค่า สำหรับตัวเลขจริง ให้อ่าน usage_metadata บนข้อความตอบกลับ

context window มี 100,000 tokens สำหรับ prompt และ completion รวมกัน ซึ่งเพียงพอสำหรับประวัติแชทยาวและการ document stuffing ตรวจสอบ docs สำหรับรายการพารามิเตอร์เต็ม และจำไว้ว่าโมเดลไม่ปฏิเสธเนื้อหาผู้ใหญ่ที่ถูกต้องตามกฎหมาย ดังนั้นเพิ่มตัวกรองของคุณเองใน chain ที่เปิดเผยต่อสาธารณะ กฎแข็งคือไม่มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์

การดีบักเชนที่ทำงานผิดปกติ

เมื่อเชนให้ผลลัพธ์ที่แปลกประหลาด ให้หาให้ก่อนว่าอะไรถูกส่งผ่านสายจริงๆ ก่อนที่จะเปลี่ยนพรอมต์ เครื่องมือสามอย่างช่วยได้ เรียงตามระดับความพยายาม

  1. พิมพ์ metadata ของการตอบสนอง. ข้อความที่ส่งคืนโดย invoke มี response_metadata และ usage_metadata คุณสามารถตรวจสอบ finish reason และจำนวนโทเคนได้โดยไม่ต้องตั้งค่าเพิ่มเติม
  2. เปิดการบันทึกดีบัก set_debug(True) จาก langchain_core.globals จะพิมพ์ทุกพรอมต์และรีสปอนต์ในเชน ใช้เฉพาะในการพัฒนาเท่านั้น เพราะจะพิมพ์พรอมต์ทั้งหมด
  3. เล่นซ้ำการเรียกด้วย curl. คัดลอกข้อความที่เรนเดอร์จากข้อมูลดีบักเข้าไปในการร้องขอไปยัง https://api.openaiapiproxy.com/v1/chat/completions หาก curl ให้ผลลัพธ์เหมือนกัน ปัญหาคือที่พรอมต์ของคุณ หากผลลัพธ์ต่างกัน ปัญหาคือที่เชน

อาการทั่วไปและจุดที่ต้องตรวจสอบ: ข้อผิดพลาด not-found มักหมายถึง base URL มี /v1 ซ้ำหรือขาดไป ข้อความเกี่ยวกับโมเดลที่ไม่รู้จักหมายถึงชื่อนั้นไม่ใช่ uncensored รายการการเรียกใช้ฟังก์ชันว่างเปล่ามักหมายถึงพรอมต์ไม่ได้ชี้แจงอย่างชัดเจนว่าควรใช้ฟังก์ชัน ซึ่งคำอธิบายฟังก์ชันที่ชัดเจนกว่าจะแก้ไขได้ และเอเจนต์ที่ค้างอาจเพียงถูกจัดคิวไว้หลังการเรียกใช้ฟังก์ชันพร้อมกันของตัวเองบนคีย์ทดลอง ดังนั้นจึงลด concurrency

จดบันทึกหัวข้อความยาวขอ ID (X-Request-Id) จากข้อผิดพลาด หากปัญหาคงอยู่ฝั่งบริการ หน้าsupport อธิบายวิธีรายงาน และ ID นั้นจะช่วยให้กระบวนการเร็วขึ้น

ถาม-ตอบ

ชื่อโมเดลที่ใช้ใน LangChain คืออะไร?

ใช้ uncensored เป็นโมเดล ID เพียงตัวเดียว และการเรียก GET /v1/models จะส่งคืนค่านี้ออกมา

ใช้ ChatOpenAI หรือ OpenAI สำหรับรับ base URL?

ใช้ ChatOpenAI จาก langchain-openai สำหรับการตอบกลับแชท มันรับ base_url ใน Python และ configuration.baseURL ใน JavaScript

ฉันใช้ OpenAIEmbeddings กับเอนด์พอยต์นี้ได้ไหม?

ไม่ การทำ embeddings ไม่มีการให้บริการ ดังนั้นให้ชี้คลาส embeddings ไปยังบริการอื่น

ทำไมฉันถึงได้รับ HTTP 429 ใน batch?

คุณส่งคำขอพร้อมกันเกิน 8 คำขอ หรือ 300 คำขอต่อนาทีบนคีย์แบบเต็ม หรือ 2 และ 60 บนคีย์ทดลอง ตั้งค่า max_concurrency และพึ่งพาการลองซ้ำ

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API