TR ▾

openaiapiproxy.comLangChain OpenAI Base URL: Özel LLM API'si Kullanın

LangChain OpenAI Base URL: Özel LLM API'si Kullanın

Langchain OpenAI base URL'i, ChatOpenAI'nin bir kurucu argümanıdır. Bunu https://api.openaiapiproxy.com/v1 olarak ayarlayın, anahtarınızı iletin ve uncensored model adını kullanın; sohbet modeli alan her zincir ve ajan bu hizmet üzerinde çalışacaktır.

güncellendi

Parlak bir küre ile biten parlayan bağlantılar zinciri, özel modele bağlı bir LangChain boru hattını temsil eder

Temel noktalar

  • Python'da ChatOpenAI(base_url=..., api_key=..., model="uncensored") kullanın. JavaScript'te configuration.baseURL kullanın.
  • İstemler, zincirler, akış, fonksiyon çağırma ve JSON modu standart arayüzler üzerinden çalışmaya devam eder.
  • Embeddings sunulmadığından, OpenAIEmbeddings farklı bir uç noktaya işaret etmelidir.
  • Tam anahtar için max_concurrency 8 kullanın ve 429 yanıtlarını yeniden denemelerle halletin.

İki satırlık değişiklik

Langchain OpenAI base URL için arama yaptığınızda, sonuç kısadır. LangChain'in OpenAI sohbet sınıfı, OpenAI SDK'sını sarmalar ve bu SDK özel bir base URL kabul eder. Bunu bu hizmete yönlendirin, zincirinizdeki başka hiçbir şeyi değiştirmeniz gerekmez. Önce pip install langchain-openai langchain-core paketlerini yükleyin.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key="YOUR_KEY",
    temperature=0.8,
)

print(llm.invoke("Describe a rainy harbor town in two sentences.").content)

Bu tüm entegrasyondur. Servis OpenAI-uyumludur ancak ayrı bir üründür: bağımsız bir sağlayıcı tarafından yürütülen bir açık ağırlıklı model, yasal yetişkin kullanım için içerik reddi yoktur. OpenAI veya başka bir satıcının resmi API'si değildir. Anahtar almak için API anahtarı sayfasını kullanın; yeni hesaplar tek tıkla, kart olmadan $0.50 deneme kredisi talep edebilir.

Neden işe yarar: ChatOpenAI standart sohbet tamamlama istekleri oluşturur ve onları verilen adrese gönderir. Servis standart yanıt biçimiyle yanıt verir, bu nedenle LangChain'in mesaj nesneleri, geri çağrıları ve ayrıştırıcılar diğer sağlayıcılara karşı olduğu gibi davranır. Aynı soyutlamaları korursunuz ve yalnızca hedef değişir. Hedef farklı bir model olduğundan, istemlerinizi yeniden test etmelisiniz. Kısıtlayıcı bir modeli işbirliğine zorlamak için yazılan bir istem burada gereksiz olabilir ve daha kısa talimatlar genellikle daha iyi çalışır.

Ortam değişkenleri veya açık argümanlar

Aynı şeyi ortam üzerinden yapılandırabilirsiniz ve bu dağıtımlar için kullanışlıdır. OpenAI SDK'sı OPENAI_BASE_URL ve OPENAI_API_KEY'i okur. Daha eski LangChain belgeleri aynı amaç için OPENAI_API_BASE kullanırdı. Adlar sürümler arasında değiştiğinden, en güvenli alışkanlık base_url ve api_key'i açıkça geçmek ve kendi değişkeninizi okumaktır.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    max_retries=3,
    timeout=120,
)

Açık argümanların gerçek bir yararı: projeniz başka görevler için başka bir sağlayıcı da kullanıyorsa, rastgele bir ortam değişkeni bu trafiği yanlış yere yönlendiremez. Farklı base URL'lere sahip iki ChatOpenAI nesnesi aynı işlemde huzur içinde yaşar.

LangChain.js'te aynı ayar

JavaScript paketinde base URL, altta yatan SDK'ya aktarılan bir configuration nesnesinin içine yerleştirilir.

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.UNCENSORED_API_KEY,
  configuration: {
    baseURL: "https://api.openaiapiproxy.com/v1",
  },
});

const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);

Yazım biçimi yaygın bir tuzaktır: Python'da base_url kullanılırken, JavaScript SDK'sı baseURL kullanır.

Bir istem, bir model ve bir ayrıştırıcı

Sohbet modeli oluşturulduktan sonra LangChain ifade dili normal şekilde çalışır. Bu zincir bir konuyu kısa bir sahneye dönüştürür ve düz bir dize döndürür.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You write short scenes for an adult fiction platform."),
    ("human", "Write a scene about: {topic}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))

for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
    print(piece, end="", flush=True)

Akış, model bunları oluştururken gelen servisin sunucu tarafından gönderilen olaylarına dayanır. Akışlı bir çağrı, bitene kadar bir eşzamanlılık slotu tutar.

| operatörü çalıştırılabilirleri birleştirir; bu sayede aynı zincire daha sonra bir getirici, ikinci bir model çağrısı veya bir çıktı ayrıştırıcı eklenebilir ve önceki adımlara dokunulmaz. Bir istem şablonunu sağlayıcılar arasında taşıyorsanız, şablonu uç nokta ayarlarından bağımsız olarak sürümlemek üzere bir dosyada tutun.

Fonksiyon çağırma ve JSON çıktısı

LangChain, Python işlevlerini @tool dekoratörüyle araç şemalarına dönüştürür ve bunları standart tools parametresi üzerinden gönderir. Servis tools, tool_choice ve akışlı tool_calls'i destekler, bu nedenle bind_tools çalışır.

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def lookup_character(name: str) -> str:
    """Return the notes for a character in the story bible."""
    notes = {"Mara": "A ferry pilot with a fear of deep water."}
    return notes.get(name, "No notes.")

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])

reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
    print(call["name"], call["args"])
    print(lookup_character.invoke(call["args"]))

JSON modu için yanıt formatını bağlayın ve talimatlarınızda JSON'dan bahsedin:

import json
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})

msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))

JSON modunda bile ayrıştırma işlemini hata yönetimine alın. Sağlayıcı ne olursa olsun, hatalı çıktılar zaman zaman oluşur ve ayrıştırma hatası eklenerek yapılan tek bir yeniden deneme genellikle sorunu çözer.

Sohbet geçmişi ve uzun belgeler

LangChain sohbet modelleri bir mesaj listesi alır ve geçmiş sizin yönetiminizdedir. Mesaj sınıfları rolleri açık hale getirir; bu, bir istemin birden fazla parçası olduğunda demetlerden daha nettir.

from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

messages = [
    SystemMessage(content="You are the narrator of a slow-burn mystery."),
    HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)

Bağlam penceresi 100.000 tokenlik bir alanı kapsar; istem ve tamamlama birlikte. Bu, tek bir çağrıda uzun sohbet geçmişleri, bir karakter sayfası ve referans metninin birkaç sayfası için yer demektir. Her zaman bunu doldurmanız gerektiği anlamına gelmez. Girdi tokenleri 1M başına $0.15'ten ücretlendirilir, bu nedenle 60.000 tokenlik bir istem, model bir kelime yazmadan önce çağrı başına 60.000 / 1.000.000 x $0.15 = $0.009 maliyetine sahiptir. Yalnızca ilgili üç sayfayı gönderen bir getirme adımı daha ucuzdur ve genellikle daha iyi yanıtlar verir.

Bir istem çok sayıda alınan metinden oluşturulduğunda, istek gövdesi için 8 MB sınırını unutmayın. Bu sınır, normal metin için token penceresinin izin verdiklerinden çok uzaktır, bu nedenle genellikle token sınırına ilk siz ulaşacaksınız, ancak uzun kesintisiz dizeler içeren yapıştırılmış veriler farklı davranabilir.

Hız limitleri, toplu işlemler ve ajanlar

LangChain paralel çalışmayı kolaylaştırır; bu da sınırlara kazara çarpmak için kullanılan bir yoldur. Tam anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Deneme anahtarı 2 ve 60 izni verir. Toplu işlerde paralelliği sınırlamak için config argümanını kullanın.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)

titles = llm.batch(
    [f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
    config={"max_concurrency": 8},
)
for t in titles:
    print(t.content)

HTTP 429 görürseniz, hata kodu nedenini söyler: dakikada istekler için rate_limited, aynı anda çok fazla istek için concurrency. Geçici aşırı yüklenmede yanıt Retry-After: 5 içerir. Altta yatan SDK'daki yeniden deneme mantığı bunların çoğunu halleder, ancak çok sayıda paralel araç çağrısına yayılan ajanlar yine de bir deneme anahtarını doyurabilir, bu nedenle orada max_concurrency değerini 2'ye düşürün.

Ajanlar döngüsü: her adım, büyüyen sohbeti girdi olarak geri gönderir, bu nedenle girdi tokenleri çıktı tokenlerinden daha hızlı birikilir. 1M girdi başına $0.15 ve 1M çıktı başına $0.50 ile, toplamda 60.000 girdi tokeni gönderen ve 6.000 çıktı tokeni üreten bir ajan çalıştırma maliyeti 60.000 / 1.000.000 x $0.15 + 6.000 / 1.000.000 x $0.50 = $0.009 + $0.003 = $0.012'dir. Fiyatlandırma sayfası bakiye yükleme miktarlarını gösterir.

Aktarılmayanlar

  • Embeddings. Bir embeddings uç noktası yoktur. Retrieval zinciriniz OpenAIEmbeddings üzerine kuruluysa, bu kısım için başka bir embedding kaynağı kullanın ve yalnızca sohbet modelini burada tutun.
  • Görseller ve ses. Servis yalnızca metin içindir.
  • Model değiştirme. Tek bir model vardır, uncensored. Bir satıcı model adları açılır listesi eşleşmeyecektir.
  • Token sayımı isme göre. Model adından token sayısını tahmin eden kütüphaneler bir yaklaşıma (approximation) dönebilir. Gerçek sayılar için yanıt mesajındaki usage_metadata değerini okuyun.

Bağlam penceresi, istem ve tamamlama birlikte 100.000 token içerebilir; bu, uzun sohbet geçmişi ve belge yığınları için cömert bir değerdir. Parametrelerin tam listesini docs adresinde kontrol edin ve model yasal yetişkin içeriği reddetmediğinden, halka açık zincirlere kendi filtrelerinizi eklediğinizden emin olun. Katı kural, reşit olmayanlar içeren cinsel içerik yasaktır.

Düzgün çalışmayan bir zinciri hata ayıklama

Bir zincir garip bir çıktı verdiğinde, istemi değiştirmeden önce ağ üzerinden gerçekten ne gittiğini öğrenin. Çaba miktarına göre sıralı üç araç yardımcı olur.

  1. Yanıt meta verilerini yazdırın. invoke tarafından döndürülen mesaj, response_metadata ve usage_metadata taşır. Bitiş nedenini ve token sayılarını ek kurulum olmadan kontrol edebilirsiniz.
  2. Hata ayıklama günlüğünü açın. langchain_core.globals içindeki set_debug(True), zincirdeki her istemi ve yanıtı yazdırır. Tam istemleri yazdırdığı için yalnızca geliştirme aşamasında kullanın.
  3. Çağrıyı curl ile tekrar oynatın. Hata ayıklama çıktısından render edilmiş mesajları https://api.openaiapiproxy.com/v1/chat/completions'e bir istek olarak kopyalayın. curl aynı şekilde davranırsa sorun isteminizdedir. Farklı davranırsa sorun zincirdedir.

Tipik belirtiler ve nereye bakılacağı: bulunamadı hatası genellikle temel URL'de /v1'ın iki kez yazıldığını veya eksik olduğunu gösterir. Bilinmeyen model hakkında mesaj, ismin uncensored olmadığını gösterir. Boş araç çağrı listeleri, genellikle istemin aracı kullanması gerektiğini net bir şekilde belirtmediğini gösterir; daha açıklayıcı bir araç açıklaması bunu düzeltir. Ve takılan bir ajan, basitçe deneme anahtarındaki kendi eşzamanlı çağrılarının arkasında kalmış olabilir; bu durumda eşzamanlılık değerini düşürün.

Başarısızlıklardan gelen istek kimliği başlığını (X-Request-Id) not edin. Sorun servis tarafındaysa, destek sayfası bunu bildirmenin nasıl yapılacağını açıklar ve bu kimlik süreci hızlandırır.

Sorular ve cevaplar

LangChain'de hangi model adı kullanılmalı?

uncensored kullanın. Bu tek model ID'sidir ve GET /v1/models bunu döndürür.

Base URL'yi alan ChatOpenAI mi yoksa OpenAI mi?

Sohbet tamamlamaları için langchain-openai'den ChatOpenAI kullanın. Python'da base_url ve JavaScript'te configuration.baseURL parametrelerini alır.

Bu uç noktada OpenAIEmbeddings kullanabilir miyim?

Hayır. Embeddings sunulmuyor, bu nedenle embeddings sınıfını farklı bir hizmete yönlendirin.

Toplu işlemede HTTP 429 hatası alıyorum, neden?

Tam anahtar için 8 eşzamanlı istek veya dakikada 300 istek sınırını aştınız; deneme anahtarında bu değerler 2 eşzamanlı istek ve 60 istektir. max_concurrency değerini ayarlayın ve yeniden denemelere güvenin.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar.

API anahtarı al