Ключевые моменты
- В Python используйте ChatOpenAI(base_url=..., api_key=..., model="uncensored"). В JavaScript используйте configuration.baseURL.
- Промпты, цепочки, потоковая передача, привязка инструментов и JSON-режим продолжают работать через стандартные интерфейсы.
- Эмбеддинги не предоставляются, поэтому OpenAIEmbeddings должен указывать на другой сервис.
- Используйте max_concurrency 8 для ключа с полным доступом и позвольте повторным попыткам обрабатывать ответы 429.
Изменение в две строки
При поиске базового URL OpenAI для langchain ответ краток. Класс чата OpenAI в LangChain оборачивает SDK OpenAI, а этот SDK принимает пользовательский базовый URL. Укажите его на этот сервис, и ничего другого в вашей цепочке менять не нужно. Сначала установите пакеты с помощью pip install langchain-openai langchain-core.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key="YOUR_KEY",
temperature=0.8,
)
print(llm.invoke("Describe a rainy harbor town in two sentences.").content)Это полное описание интеграции. Сервис совместим с OpenAI, но это отдельный продукт: одна модель с открытыми весами, запускаемая независимым провайдером, без отказов в выдаче для законного использования взрослыми. Это не официальный API OpenAI или любого другого вендора. Чтобы получить ключ, перейдите на страницу API-ключ; новые аккаунты могут получить пробный баланс $0.50 в один клик, без карты.
Почему это работает: ChatOpenAI формирует стандартные запросы на завершение чата и отправляет их по указанному адресу. Сервис отвечает стандартной структурой ответа, поэтому объекты сообщений, колбэки и парсеры LangChain ведут себя так же, как и у любого другого провайдера. Вы сохраняете те же абстракции, меняется только пункт назначения. Поскольку пункт назначения — другая модель, вам следует повторно протестировать ваши промпты. Промпт, написанный для того, чтобы заставить ограничивающую модель сотрудничать, может быть здесь излишним, и короткие инструкции часто работают лучше.
Переменные окружения или явные аргументы
Вы можете настроить то же самое через окружение, и это удобно для развертывания. SDK OpenAI читает OPENAI_BASE_URL и OPENAI_API_KEY. Старая документация LangChain использовала OPENAI_API_BASE для той же цели. Поскольку имена менялись между версиями, безопаснее явно передавать base_url и api_key и читать свою переменную.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=3,
timeout=120,
)Реальное преимущество явных аргументов: если ваш проект также использует другого провайдера для других задач, случайная глобальная переменная не перенаправит этот трафик не туда. Два объекта ChatOpenAI с разными base_url могут спокойно жить в одном процессе.
Та же настройка в LangChain.js
В пакете JavaScript базовый URL помещается внутрь объекта configuration, который передается в базовый SDK.
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.UNCENSORED_API_KEY,
configuration: {
baseURL: "https://api.openaiapiproxy.com/v1",
},
});
const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);Регистр букв — обычная ловушка: Python использует base_url, JavaScript SDK использует baseURL.
Промпт, модель и парсер
После создания чат-модели язык выражений LangChain работает как обычно. Эта цепочка превращает тему в короткий сценарий и возвращает обычную строку.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You write short scenes for an adult fiction platform."),
("human", "Write a scene about: {topic}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))
for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
print(piece, end="", flush=True)Потоковая передача полагается на события, отправляемые сервером (SSE), которые поступают по мере генерации модели. Потоковый вызов занимает один слот параллелизма до завершения.
Оператор | комбинирует исполняемые объекты, поэтому ту же цепочку можно позже расширить ретривером, вторым вызовом модели или парсером вывода, не затрагивая предыдущие шаги. Если вы перемещаете шаблон промпта между провайдерами, храните шаблон в файле, чтобы версионировать его отдельно от настроек эндпоинта.
Вызов функций и JSON-вывод
LangChain превращает функции Python в схемы инструментов с помощью декоратора @tool и отправляет их через стандартный параметр tools. Сервис поддерживает tools, tool_choice и потоковые tool_calls, поэтому bind_tools работает.
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def lookup_character(name: str) -> str:
"""Return the notes for a character in the story bible."""
notes = {"Mara": "A ferry pilot with a fear of deep water."}
return notes.get(name, "No notes.")
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])
reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
print(call["name"], call["args"])
print(lookup_character.invoke(call["args"]))Для JSON-режима привяжите формат ответа и укажите JSON в ваших инструкциях:
import json
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})
msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))Даже с JSON-режимом оборачивайте парсинг в обработку ошибок. У любого провайдера иногда случается некорректный вывод, и одна повторная попытка с прикрепленной ошибкой парсинга обычно исправляет её.
История чата и длинные документы
Чат-модели LangChain принимают список сообщений, и история находится в вашем управлении. Классы сообщений делают роли явными, что понятнее кортежей, когда промпт состоит из нескольких частей.
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
messages = [
SystemMessage(content="You are the narrator of a slow-burn mystery."),
HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)Контекстное окно составляет 100 000 токенов на промпт и завершение вместе. Этого места хватит для длинных историй чата, листа персонажа и нескольких страниц справочного текста в одном запросе. Это не значит, что его нужно всегда заполнять. Входные токены тарифицируются по $0.15 за 1M, поэтому промпт на 60 000 токенов стоит 60 000 / 1 000 000 x $0.15 = $0.009 за запрос до того, как модель напишет слово. Шаг поиска, который отправляет только три релевантные страницы, дешевле и часто даёт лучшие ответы.
Когда промпт построен из большого объема извлеченного текста, помните об ограничении в 8 МБ на тело запроса. Это значительно выше того, что позволяет оконное пространство токенов для обычного текста, поэтому вы обычно сначала достигнете лимита токенов, но вставленные данные с длинными непрерывными строками могут вести себя иначе.
Лимиты запросов, пакеты и агенты
LangChain упрощает параллельную работу, именно поэтому лимиты так легко превысить случайно. Полный ключ позволяет 8 параллельных запросов и 300 в минуту. Пробный ключ позволяет 2 и 60. Используйте аргумент конфигурации, чтобы ограничить параллелизм в пакетах.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
titles = llm.batch(
[f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
config={"max_concurrency": 8},
)
for t in titles:
print(t.content)Если вы видите HTTP 429, код ошибки говорит почему: rate_limited для запросов в минуту, concurrency для слишком многих одновременно. При временной перегрузке ответ включает Retry-After: 5. Логика повторных попыток в базовом SDK обрабатывает большую часть этого, но агенты, разветвляющиеся на множество параллельных вызовов инструментов, могут все еще насыщать пробный ключ, поэтому снизьте max_concurrency до 2 там.
Цикл агента: каждый шаг отправляет растущий диалог обратно как вход, поэтому токены ввода накапливаются быстрее, чем токены вывода. При $0,15 за 1 млн ввода и $0,50 за 1 млн вывода, запуск агента, отправивший в общей сложности 60 000 входных токенов и произведший 6 000 выходных токенов, стоит 60 000 / 1 000 000 x $0,15 + 6 000 / 1 000 000 x $0,50 = $0,009 + $0,003 = $0,012. Страница цен показывает размеры пополнения.
Что не сохраняется
- Эмбеддинги. Эндпоинта эмбеддингов нет. Если ваша цепочка извлечения построена на
OpenAIEmbeddings, используйте другой источник эмбеддингов для этой части и оставьте здесь только чат-модель. - Изображения и аудио. Сервис только текстовый.
- Переключение моделей. Есть одна модель,
uncensored. Выпадающий список имен моделей от поставщиков не совпадет. - Подсчёт токенов по имени. Библиотеки, которые угадывают количество токенов по имени модели, могут использовать приближение. Для точных чисел прочитайте
usage_metadataв ответе.
Контекстное окно составляет 100 000 токенов на промпт и завершение вместе, что достаточно для длинных историй чата и добавления документов. Проверьте документацию для полного списка параметров и помните, что модель не отказывает в законном контенте для взрослых, поэтому добавьте свои фильтры в любую публичную цепочку. Строгое правило: нет сексуального контента с участием несовершеннолетних.
Отладка цепочки, которая ведет себя некорректно
Когда цепочка выдает странный вывод, выясните, что фактически прошло по сети, прежде чем менять промпт. Три инструмента помогают, по мере увеличения усилий.
- Распечатайте метаданные ответа. Сообщение, возвращаемое
invoke, содержитresponse_metadataиusage_metadata. Вы можете проверить причину завершения и количество токенов без дополнительной настройки. - Включите логирование отладки.
set_debug(True)изlangchain_core.globalsвыводит каждый промпт и ответ в цепочке. Используйте его только в разработке, потому что оно выводит полные промпты. - Повторите вызов с помощью curl. Скопируйте отрендеренные сообщения из вывода отладки в запрос к
https://api.openaiapiproxy.com/v1/chat/completions. Если curl ведет себя так же, проблема в вашем промпте. Если иначе, проблема в цепочке.
Типичные симптомы и места для поиска: ошибка not-found обычно означает, что базовый URL содержит удвоенный /v1 или его отсутствие. Сообщение о неизвестной модели означает, что имя не uncensored. Пустые списки вызовов инструментов часто означают, что промпт не уточнил, что инструмент должен быть использован, что исправляется более ясным описанием инструмента. И агент, который завис, может просто находиться в очереди за собственными параллельными вызовами на пробном ключе, поэтому снизьте параллелизм.
Сохраните заголовок идентификатора запроса (X-Request-Id) из сбоев. Если проблема на стороне сервиса, страница поддержки объясняет, как её сообщить, и этот идентификатор ускоряет процесс.
