RU ▾

openaiapiproxy.comLangChain OpenAI Base URL: используйте собственный LLM API

LangChain OpenAI Base URL: используйте собственный LLM API

langchain openai base url — аргумент конструктора ChatOpenAI. Установите его в https://api.openaiapiproxy.com/v1, передайте ключ и используйте имя модели uncensored; тогда любая цепочка и агент, принимающие чат-модель, будут работать на нём.

Обновлено

Цепочка светящихся ссылок, заканчивающаяся одной яркой точкой, представляющая конвейер LangChain, подключенный к пользовательской модели

Ключевые моменты

  • В Python используйте ChatOpenAI(base_url=..., api_key=..., model="uncensored"). В JavaScript используйте configuration.baseURL.
  • Промпты, цепочки, потоковая передача, привязка инструментов и JSON-режим продолжают работать через стандартные интерфейсы.
  • Эмбеддинги не предоставляются, поэтому OpenAIEmbeddings должен указывать на другой сервис.
  • Используйте max_concurrency 8 для ключа с полным доступом и позвольте повторным попыткам обрабатывать ответы 429.

Изменение в две строки

При поиске базового URL OpenAI для langchain ответ краток. Класс чата OpenAI в LangChain оборачивает SDK OpenAI, а этот SDK принимает пользовательский базовый URL. Укажите его на этот сервис, и ничего другого в вашей цепочке менять не нужно. Сначала установите пакеты с помощью pip install langchain-openai langchain-core.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key="YOUR_KEY",
    temperature=0.8,
)

print(llm.invoke("Describe a rainy harbor town in two sentences.").content)

Это полное описание интеграции. Сервис совместим с OpenAI, но это отдельный продукт: одна модель с открытыми весами, запускаемая независимым провайдером, без отказов в выдаче для законного использования взрослыми. Это не официальный API OpenAI или любого другого вендора. Чтобы получить ключ, перейдите на страницу API-ключ; новые аккаунты могут получить пробный баланс $0.50 в один клик, без карты.

Почему это работает: ChatOpenAI формирует стандартные запросы на завершение чата и отправляет их по указанному адресу. Сервис отвечает стандартной структурой ответа, поэтому объекты сообщений, колбэки и парсеры LangChain ведут себя так же, как и у любого другого провайдера. Вы сохраняете те же абстракции, меняется только пункт назначения. Поскольку пункт назначения — другая модель, вам следует повторно протестировать ваши промпты. Промпт, написанный для того, чтобы заставить ограничивающую модель сотрудничать, может быть здесь излишним, и короткие инструкции часто работают лучше.

Переменные окружения или явные аргументы

Вы можете настроить то же самое через окружение, и это удобно для развертывания. SDK OpenAI читает OPENAI_BASE_URL и OPENAI_API_KEY. Старая документация LangChain использовала OPENAI_API_BASE для той же цели. Поскольку имена менялись между версиями, безопаснее явно передавать base_url и api_key и читать свою переменную.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.openaiapiproxy.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    max_retries=3,
    timeout=120,
)

Реальное преимущество явных аргументов: если ваш проект также использует другого провайдера для других задач, случайная глобальная переменная не перенаправит этот трафик не туда. Два объекта ChatOpenAI с разными base_url могут спокойно жить в одном процессе.

Та же настройка в LangChain.js

В пакете JavaScript базовый URL помещается внутрь объекта configuration, который передается в базовый SDK.

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "uncensored",
  apiKey: process.env.UNCENSORED_API_KEY,
  configuration: {
    baseURL: "https://api.openaiapiproxy.com/v1",
  },
});

const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);

Регистр букв — обычная ловушка: Python использует base_url, JavaScript SDK использует baseURL.

Промпт, модель и парсер

После создания чат-модели язык выражений LangChain работает как обычно. Эта цепочка превращает тему в короткий сценарий и возвращает обычную строку.

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You write short scenes for an adult fiction platform."),
    ("human", "Write a scene about: {topic}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))

for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
    print(piece, end="", flush=True)

Потоковая передача полагается на события, отправляемые сервером (SSE), которые поступают по мере генерации модели. Потоковый вызов занимает один слот параллелизма до завершения.

Оператор | комбинирует исполняемые объекты, поэтому ту же цепочку можно позже расширить ретривером, вторым вызовом модели или парсером вывода, не затрагивая предыдущие шаги. Если вы перемещаете шаблон промпта между провайдерами, храните шаблон в файле, чтобы версионировать его отдельно от настроек эндпоинта.

Вызов функций и JSON-вывод

LangChain превращает функции Python в схемы инструментов с помощью декоратора @tool и отправляет их через стандартный параметр tools. Сервис поддерживает tools, tool_choice и потоковые tool_calls, поэтому bind_tools работает.

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def lookup_character(name: str) -> str:
    """Return the notes for a character in the story bible."""
    notes = {"Mara": "A ferry pilot with a fear of deep water."}
    return notes.get(name, "No notes.")

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])

reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
    print(call["name"], call["args"])
    print(lookup_character.invoke(call["args"]))

Для JSON-режима привяжите формат ответа и укажите JSON в ваших инструкциях:

import json
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})

msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))

Даже с JSON-режимом оборачивайте парсинг в обработку ошибок. У любого провайдера иногда случается некорректный вывод, и одна повторная попытка с прикрепленной ошибкой парсинга обычно исправляет её.

История чата и длинные документы

Чат-модели LangChain принимают список сообщений, и история находится в вашем управлении. Классы сообщений делают роли явными, что понятнее кортежей, когда промпт состоит из нескольких частей.

from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")

messages = [
    SystemMessage(content="You are the narrator of a slow-burn mystery."),
    HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)

Контекстное окно составляет 100 000 токенов на промпт и завершение вместе. Этого места хватит для длинных историй чата, листа персонажа и нескольких страниц справочного текста в одном запросе. Это не значит, что его нужно всегда заполнять. Входные токены тарифицируются по $0.15 за 1M, поэтому промпт на 60 000 токенов стоит 60 000 / 1 000 000 x $0.15 = $0.009 за запрос до того, как модель напишет слово. Шаг поиска, который отправляет только три релевантные страницы, дешевле и часто даёт лучшие ответы.

Когда промпт построен из большого объема извлеченного текста, помните об ограничении в 8 МБ на тело запроса. Это значительно выше того, что позволяет оконное пространство токенов для обычного текста, поэтому вы обычно сначала достигнете лимита токенов, но вставленные данные с длинными непрерывными строками могут вести себя иначе.

Лимиты запросов, пакеты и агенты

LangChain упрощает параллельную работу, именно поэтому лимиты так легко превысить случайно. Полный ключ позволяет 8 параллельных запросов и 300 в минуту. Пробный ключ позволяет 2 и 60. Используйте аргумент конфигурации, чтобы ограничить параллелизм в пакетах.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)

titles = llm.batch(
    [f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
    config={"max_concurrency": 8},
)
for t in titles:
    print(t.content)

Если вы видите HTTP 429, код ошибки говорит почему: rate_limited для запросов в минуту, concurrency для слишком многих одновременно. При временной перегрузке ответ включает Retry-After: 5. Логика повторных попыток в базовом SDK обрабатывает большую часть этого, но агенты, разветвляющиеся на множество параллельных вызовов инструментов, могут все еще насыщать пробный ключ, поэтому снизьте max_concurrency до 2 там.

Цикл агента: каждый шаг отправляет растущий диалог обратно как вход, поэтому токены ввода накапливаются быстрее, чем токены вывода. При $0,15 за 1 млн ввода и $0,50 за 1 млн вывода, запуск агента, отправивший в общей сложности 60 000 входных токенов и произведший 6 000 выходных токенов, стоит 60 000 / 1 000 000 x $0,15 + 6 000 / 1 000 000 x $0,50 = $0,009 + $0,003 = $0,012. Страница цен показывает размеры пополнения.

Что не сохраняется

  • Эмбеддинги. Эндпоинта эмбеддингов нет. Если ваша цепочка извлечения построена на OpenAIEmbeddings, используйте другой источник эмбеддингов для этой части и оставьте здесь только чат-модель.
  • Изображения и аудио. Сервис только текстовый.
  • Переключение моделей. Есть одна модель, uncensored. Выпадающий список имен моделей от поставщиков не совпадет.
  • Подсчёт токенов по имени. Библиотеки, которые угадывают количество токенов по имени модели, могут использовать приближение. Для точных чисел прочитайте usage_metadata в ответе.

Контекстное окно составляет 100 000 токенов на промпт и завершение вместе, что достаточно для длинных историй чата и добавления документов. Проверьте документацию для полного списка параметров и помните, что модель не отказывает в законном контенте для взрослых, поэтому добавьте свои фильтры в любую публичную цепочку. Строгое правило: нет сексуального контента с участием несовершеннолетних.

Отладка цепочки, которая ведет себя некорректно

Когда цепочка выдает странный вывод, выясните, что фактически прошло по сети, прежде чем менять промпт. Три инструмента помогают, по мере увеличения усилий.

  1. Распечатайте метаданные ответа. Сообщение, возвращаемое invoke, содержит response_metadata и usage_metadata. Вы можете проверить причину завершения и количество токенов без дополнительной настройки.
  2. Включите логирование отладки. set_debug(True) из langchain_core.globals выводит каждый промпт и ответ в цепочке. Используйте его только в разработке, потому что оно выводит полные промпты.
  3. Повторите вызов с помощью curl. Скопируйте отрендеренные сообщения из вывода отладки в запрос к https://api.openaiapiproxy.com/v1/chat/completions. Если curl ведет себя так же, проблема в вашем промпте. Если иначе, проблема в цепочке.

Типичные симптомы и места для поиска: ошибка not-found обычно означает, что базовый URL содержит удвоенный /v1 или его отсутствие. Сообщение о неизвестной модели означает, что имя не uncensored. Пустые списки вызовов инструментов часто означают, что промпт не уточнил, что инструмент должен быть использован, что исправляется более ясным описанием инструмента. И агент, который завис, может просто находиться в очереди за собственными параллельными вызовами на пробном ключе, поэтому снизьте параллелизм.

Сохраните заголовок идентификатора запроса (X-Request-Id) из сбоев. Если проблема на стороне сервиса, страница поддержки объясняет, как её сообщить, и этот идентификатор ускоряет процесс.

Вопросы и ответы

Какое имя модели использовать в LangChain?

Используйте uncensored. Это единственный ID модели, и GET /v1/models возвращает его.

Кто принимает базовый URL: ChatOpenAI или OpenAI?

Используйте ChatOpenAI из langchain-openai для чат-завершений. Он принимает base_url в Python и configuration.baseURL в JavaScript.

Можно ли использовать OpenAIEmbeddings с этим эндпоинтом?

Нет. Эмбеддинги не предоставляются, поэтому направьте класс эмбеддингов на другой сервис.

Почему возникает HTTP 429 в пакете?

Вы превысили лимит в 8 параллельных запросов или 300 запросов в минуту для полного ключа, или 2 и 60 для пробного ключа. Установите max_concurrency и полагайтесь на повторные попытки.

Ваш ключ — всего в одной форме отсюда

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.

Получить API-ключ