JA ▾

openaiapiproxy.comLangChain OpenAI ベース URL:カスタム LLM API を使用する

LangChain OpenAI ベース URL:カスタム LLM API を使用する

langchain openai base url は ChatOpenAI のコンストラクタ引数です。これを https://api.openaiapiproxy.com/v1 に設定し、API キーを渡してモデル名を uncensored に使用すると、チャットモデルを受け取るすべてのチェーンやエージェントがそのモデル上で実行されます。

更新日:

光るリンクの連鎖の最後に明るい光る球があり、カスタムモデルに接続された LangChain パイプラインを表しています

主要ポイント

  • Python では ChatOpenAI(base_url=..., api_key=..., model="uncensored") を使用します。JavaScript では configuration.baseURL を使用します。
  • プロンプト、チェーン、ストリーミング、ツールバインディング、JSON モードは、標準インターフェースを通じて引き続き機能します。
  • 埋め込みは提供されていないため、OpenAIEmbeddings は別のサービスを指し示す必要があります。
  • max_concurrency を 8 に設定し、リトライが 429 レスポンスを処理するようにしてください。

2 行の変更

langchain openai base url を検索すると、答えは簡潔です。LangChain の OpenAI チャットクラスは OpenAI SDK をラップしており、その SDK はカスタムベース URL を受け付けます。これをこのサービスに向けて設定すれば、チェーン内の他の部分は変更する必要はありません。まずpip install langchain-openai langchain-coreでパッケージをインストールしてください。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key="YOUR_KEY",
    temperature=0.8,
)

print(llm.invoke("Describe a rainy harbor town in two sentences.").content)

これが統合の全体です。このサービスは OpenAI 互換ですが、別の製品です。1 つのオープンウェイトモデルを独立したプロバイダが実行し、法的な成人利用に対してコンテンツ拒否はありません。OpenAI または他のベンダーの公式 API ではありません。API キーを取得するには、API キーページを使用してください。新規アカウントはカードなしでワンクリックで $0.50 の無料トライアルクレジットを受け取ることができます。

これが機能する理由:ChatOpenAI は標準的なチャット補完リクエストを構築し、指定されたアドレスに送信します。サービスは標準的なレスポンス形式で応答するため、LangChain のメッセージオブジェクト、コールバック、パーサーは他のプロバイダに対して動作するのと同じように動作します。同じ抽象化を維持し、宛先のみを変更します。宛先が異なるモデルであるため、プロンプトを再テストする必要があります。制限のあるモデルを協力させるように設計されたプロンプトはここでは不要であり、短い指示の方が効果的であることが多いです。

環境変数または明示的な引数

環境を通じて同じことを構成することもでき、デプロイメントには便利です。OpenAI SDK は OPENAI_BASE_URL と OPENAI_API_KEY を読み取ります。古い LangChain ドキュメントでは、同じ目的のために OPENAI_API_BASE が使用されていました。バージョン間で名前が変更されたため、最も安全な習慣は base_url と api_key を明示的に渡し、独自の変数を読み取することです。

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    max_retries=3,
    timeout=120,
)

明示的な引数の真の利点:プロジェクトが他のタスクのために他のプロバイダも使用している場合、迷ったグローバル変数がそのトラフィックを間違った場所にリダイレクトすることはありません。異なるベースURLを持つ2つのChatOpenAIオブジェクトは同じプロセス内で問題なく共存します。

LangChain.js での同じ設定

JavaScript パッケージでは、ベース URL は基盤となる SDK に渡される configuration オブジェクト内に入ります。

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.UNCENSORED_API_KEY,
  configuration: {
    baseURL: "https://api.openaiapiproxy.com/v1",
  },
});

const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);

大文字小文字の区別はよくある落とし穴です:Python は base_url を使用し、JavaScript SDK は baseURL を使用します。

プロンプト、モデル、パーサー

チャットモデル構築後、LangChain式言語は通常通り動作します。このチェーンはトピックを短いシーンに変換し、プレーン文字列を返します。

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You write short scenes for an adult fiction platform."),
    ("human", "Write a scene about: {topic}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))

for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
    print(piece, end="", flush=True)

ストリーミングはサービスのサーバー送信イベントに依存しており、モデルが生成するたびにイベントが到着します。ストリーミング呼び出しは完了するまで 1 つの同時実行スロットを保持します。

| 演算子はランナブルを構成するため、同じチェーンに後でリトリーバー、2 番目のモデル呼び出し、または出力パーサーを追加しても、以前のステップに触れる必要はありません。プロンプトテンプレートをプロバイダ間で移動する場合は、テンプレートをファイルに保持し、エンドポイント設定とは別にバージョン管理できるようにしてください。

ツール呼び出しと JSON 出力

LangChain は Python 関数を @tool デコレータでツールスキーマに変換し、標準的な tools パラメータを通じて送信します。サービスは tools、tool_choice およびストリーミング tool_calls をサポートしているため、bind_tools が機能します。

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def lookup_character(name: str) -> str:
    """Return the notes for a character in the story bible."""
    notes = {"Mara": "A ferry pilot with a fear of deep water."}
    return notes.get(name, "No notes.")

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])

reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
    print(call["name"], call["args"])
    print(lookup_character.invoke(call["args"]))

JSON モードの場合、レスポンス形式をバインドし、指示に JSON を含めてください。

import json
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})

msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))

JSONモードでも、エラーハンドリングで解析をラップしてください。プロバイダが何であれ、構文が正しくない出力は時々発生し、解析エラーを添えた単一のリトライで通常は修正できます。

チャット履歴と長いドキュメント

LangChain のチャットモデルはメッセージのリストを受け取り、履歴はあなたが管理します。メッセージクラスはロールを明示的にするため、プロンプトに複数の部分がある場合、タプルよりも明確です。

from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

messages = [
    SystemMessage(content="You are the narrator of a slow-burn mystery."),
    HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)

コンテキストウィンドウは 100,000 トークンで、プロンプトと補完を合計したものです。これは、1 回の呼び出しで長いチャット履歴、キャラクターシート、および参照テキストのいくつかのページに十分なスペースがあります。常にそれを埋める必要があるという意味ではありません。入力トークンは 1M あたり $0.15 で課金されるため、60,000 トークンのプロンプトはモデルが単語を出力する前に 1 回あたり 60,000 / 1,000,000 x $0.15 = $0.009 かかります。関連する 3 ページのみを送信する検索ステップは安価で、より良い回答をもたらすことが多いです。

多くの検索されたテキストからプロンプトが構築される場合、リクエスト本文の 8 MB の制限を覚えておいてください。これは通常のテキストに対してトークンウィンドウが許可する範囲をはるかに超えているため、通常はトークン制限に先に到達しますが、長い連続した文字列を含む貼り付けられたデータは異なる動作をする可能性があります。

レート制限、バッチ、エージェント

LangChain は並列処理を容易にしますが、これがまさに制限に達する原因になります。フルキーは 8 つの同時リクエストと 1 分あたり 300 リクエストを許可します。トライアルキーは 2 と 60 を許可します。バッチでの並列実行数を制限するために config 引数を使用してください。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)

titles = llm.batch(
    [f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
    config={"max_concurrency": 8},
)
for t in titles:
    print(t.content)

HTTP 429 を表示した場合、エラーコードは理由を示します:rate_limited は 1 分あたりのリクエスト数用、concurrency は一度に多すぎるためです。一時的な過負荷時にはレスポンスに Retry-After: 5 が含まれます。基盤となる SDK のリトライロジックはこれの大部分を処理しますが、多くの並列ツール呼び出しに広がるエージェントはトライアルキーを飽和させる可能性があるため、そこの max_concurrency を 2 に下げてください。

エージェントのループ:各ステップで会話の履歴が入力として送信されるため、入力トークンは出力トークンよりも速く累積します。1M 入力あたり $0.15、1M 出力あたり $0.50 の場合、合計 60,000 入力トークンを送信して 6,000 出力トークンを生成するエージェント実行のコストは、60,000 / 1,000,000 x $0.15 + 6,000 / 1,000,000 x $0.50 = $0.009 + $0.003 = $0.012 です。価格ページにはチャージ金額が表示されます。

引き継げないもの

  • 埋め込み。 埋め込みエンドポイントはありません。OpenAIEmbeddings に基づく検索チェーンがある場合は、その部分に別の埋め込みソースを使用し、チャットモデルのみをここに保持してください。
  • 画像とオーディオ。 サービスはテキストのみです。
  • モデルの切り替え。 1 つのモデル、uncensored のみです。ベンダーモデル名のドロップダウンは一致しません。
  • 名前によるトークン数え。モデル名からトークン数を推測するライブラリは、近似値にフォールバックする場合があります。正確な数値を確認するには、レスポンスメッセージの usage_metadata を参照してください。

コンテキストウィンドウはプロンプトと補完を合わせて100,000トークンで、長いチャット履歴やドキュメントの詰め込みに十分な容量です。パラメータの全一覧はdocsをご覧ください。また、このモデルは法的な成人向けコンテンツを拒否しないため、公開向けチェーンには独自のフィルタを追加してください。ただし、未成年者に関する性的コンテンツは厳格に禁止されています。

振る舞いがおかしいチェーンのデバッグ

チェーンが奇妙な出力を返した場合、プロンプトを変更する前に実際にネットワークを通過したデータを確認してください。労力の少ない順に 3 つのツールが役立ちます。

  1. レスポンスメタデータを印刷する。 invoke が返すメッセージには response_metadata と usage_metadata が含まれます。追加のセットアップなしで終了理由とトークン数を確認できます。
  2. デバッグロギングを有効にします。 set_debug(True) は langchain_core.globals からインポートし、チェーン内のすべてのプロンプトとレスポンスを出力します。フルプロンプトを出力するため開発時のみ使用してください。
  3. curl で呼び出しを再生する。 デバッグ出力からレンダリングされたメッセージを https://api.openaiapiproxy.com/v1/chat/completions へのリクエストにコピーします。curl が同じ動作をする場合、問題はプロンプトにあります。異なる場合、問題はチェーンにあります。

典型的な症状と調査場所:not-found エラーは通常、ベース URL に /v1 が二重に含まれているか、欠落していることを意味します。不明なモデルに関するメッセージは、名前が uncensored ではないことを意味します。空のツール呼び出しリストは通常、プロンプトがツールを使用すべきであることを明確にしていないことを意味し、これはより明確なツール説明で修正できます。そして、進まなくなるエージェントは、トライアルキー上で独自の並列呼び出しの後ろにキューイングされているだけかもしれません。そのため、同時実行数を減らしてください。

失敗からのリクエスト ID ヘッダー (X-Request-Id) をメモしてください。問題がサービス側にある場合、サポートページ はそれを報告する方法を説明しており、その ID は対応を早めます。

質問と回答

LangChain で使用するモデル名は何ですか?

uncensored を使用してください。これが唯一のモデル ID であり、GET /v1/models はこれを返します。

ベース URL を設定するのは ChatOpenAI ですか、それとも OpenAI ですか?

チャット補完には langchain-openai の ChatOpenAI を使用します。Python では base_url、JavaScript では configuration.baseURL を設定します。

このエンドポイントで OpenAIEmbeddings を使用できますか?

いいえ。Embeddings は提供されていないため、embeddings クラスを別のサービスにポイントしてください。

バッチ処理でHTTP 429が発生するのはなぜですか?

フルキーでは 8 つの同時リクエストまたは 1 分あたり 300 件のリクエスト、トライアルキーでは 2 つの同時リクエストまたは 1 分あたり 60 件のリクエストの制限を超えています。max_concurrency を設定し、リトライに依存してください。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得