Kluczowe punkty
- W Pythonie użyj ChatOpenAI(base_url=..., api_key=..., model="uncensored"). W JavaScript użyj configuration.baseURL.
- Prompty, łańcuchy, strumieniowanie, wiązanie narzędzi i tryb JSON działają nadal przez standardowe interfejsy.
- Osadzenia nie są oferowane, więc OpenAIEmbeddings musi wskazywać na inną usługę.
- Użyj max_concurrency 8 przy pełnym kluczu i pozwól ponownym próbom obsłużyć odpowiedzi 429.
Zmiana w dwóch liniach
Gdy szukasz bazowego URL dla langchain openai, odpowiedź jest krótka. Klasa czatu OpenAI w LangChain opakowuje SDK OpenAI, a to SDK przyjmuje niestandardowy bazowy URL. Wskaż go na ten serwis i nic innego w Twoim łańcuchu nie musi się zmienić. Najpierw zainstaluj pakiety za pomocą pip install langchain-openai langchain-core.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key="YOUR_KEY",
temperature=0.8,
)
print(llm.invoke("Describe a rainy harbor town in two sentences.").content)To cała integracja. Serwis jest kompatybilny z OpenAI, ale jest to osobny produkt: jeden model o otwartych wagach, uruchamiany przez niezależnego dostawcę, bez odmów treści dla prawnego użytku przez osoby dorosłe. Nie jest to oficjalne API OpenAI ani żadnego innego dostawcy. Aby uzyskać klucz, użyj strony klucza API; nowe konta mogą uzyskać darmowy kredyt próbny za $0,50 jednym kliknięciem, bez karty.
Dlaczego to działa: ChatOpenAI tworzy standardowe żądania ukończenia czatu i wysyła je pod dowolny adres, jaki mu podano. Serwis odpowiada standardowym kształtem odpowiedzi, więc obiekty wiadomości, callbacki i parsery LangChain zachowują się tak samo jak w przypadku każdego innego dostawcy. Zachowujesz te same abstrakcje, a zmienia się tylko miejsce docelowe. Ponieważ miejsce docelowe to inny model, powinieneś przetestować ponownie swoje prompty. Prompt napisany tak, aby wywołać współpracę restrykcyjnego modelu, może być tu niepotrzebny, a krótsze instrukcje często działają lepiej.
Zmienne środowiskowe lub argumenty jawne
Możesz skonfigurować to samo przez środowisko, co jest przydatne w wdrożeniach. SDK OpenAI odczytuje OPENAI_BASE_URL i OPENAI_API_KEY. Starsza dokumentacja LangChain używała OPENAI_API_BASE do tego samego celu. Ponieważ nazwy zmieniały się między wersjami, najbezpieczniejszą praktyką jest jawnie przekazywanie base_url i api_key oraz odczytywanie własnej zmiennej.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=3,
timeout=120,
)Rzeczywistą korzyścią z jawnego przekazywania argumentów jest to, że jeśli Twój projekt używa również innego dostawcy do innych zadań, przypadkowa zmienna globalna nie przekieruje tego ruchu w złe miejsce. Dwa obiekty ChatOpenAI z różnymi bazowymi URL mogą szczęśliwie współistnieć w tym samym procesie.
To samo ustawienie w LangChain.js
W pakiecie JS bazowy URL umieszczasz w obiekcie configuration przekazanym do SDK.
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.UNCENSORED_API_KEY,
configuration: {
baseURL: "https://api.openaiapiproxy.com/v1",
},
});
const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);Wielkość liter to typowa pułapka: Python używa base_url, a SDK JavaScript używa baseURL.
Prompt, model i parser
Gdy model czatu jest już zbudowany, język wyrażeń LangChain działa jak zwykle. Ten łańcuch przekształca temat w krótką scenę i zwraca zwykły ciąg znaków.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You write short scenes for an adult fiction platform."),
("human", "Write a scene about: {topic}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))
for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
print(piece, end="", flush=True)Strumieniowanie polega na zdarzeniach wysyłanych przez serwer, które przychodzą w miarę generowania ich przez model. Wywołanie strumieniowe zajmuje jedno miejsce w równoległości do momentu zakończenia.
Operator | komponuje uruchamialne obiekty, dzięki czemu ten sam łańcuch może później zyskać uruchamialny obiekt pobierania, drugie wywołanie modelu lub parser wyjścia bez dotykania wcześniejszych kroków. Jeśli przenosisz szablon promptu między dostawcami, trzymaj szablon w pliku, aby można go było wersjonować oddzielnie od ustawień endpointu.
Wywoływanie narzędzi i wyjście JSON
LangChain przekształca funkcje Pythona w schematy narzędzi za pomocą dekoratora @tool i wysyła je przez standardowy parametr tools. Serwis obsługuje tools, tool_choice i strumieniowane tool_calls, więc bind_tools działa.
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def lookup_character(name: str) -> str:
"""Return the notes for a character in the story bible."""
notes = {"Mara": "A ferry pilot with a fear of deep water."}
return notes.get(name, "No notes.")
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])
reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
print(call["name"], call["args"])
print(lookup_character.invoke(call["args"]))Dla trybu JSON powiąż format odpowiedzi i wspomnij o JSON w swoich instrukcjach:
import json
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})
msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))Nawet w trybie JSON owiń parsowanie w obsłudze błędów. Niezależnie od dostawcy, niepoprawne wyjście występuje od czasu do czasu, a pojedyncze ponowienie z dołączonym błędem parsowania zwykle to naprawia.
Historia czatu i długie dokumenty
Modele czatu LangChain przyjmują listę wiadomości, a historia należy do Ciebie do zarządzania. Klasy wiadomości czynią role jawnymi, co jest jaśniejsze niż krotki, gdy prompt ma kilka części.
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
messages = [
SystemMessage(content="You are the narrator of a slow-burn mystery."),
HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)Okno kontekstu wynosi 100 000 tokenów, łącznie z promptem i uzupełnieniem. To miejsce na długie historie czatu, kartę postaci i kilka stron tekstu referencyjnego w jednym wywołaniu. Nie oznacza to, że zawsze należy je wypełniać. Tokeny wejściowe są rozliczane po $0,15 za 1M, więc prompt o 60 000 tokenów kosztuje 60 000 / 1 000 000 x $0,15 = $0,009 za wywołanie przed napisaniem słowa przez model. Krok pobierania, który wysyła tylko odpowiednie trzy strony, jest tańszy i często daje lepsze odpowiedzi.
Gdy prompt jest zbudowany z dużej ilości pobranego tekstu, pamiętaj o limicie 8 MB dla ciała żądania. Jest to znacznie powyżej tego, co okno tokenów pozwala na zwykły tekst, więc zwykle trafisz najpierw w limit tokenów, ale wklejone dane z długimi ciągami znaków bez przerw mogą zachowywać się inaczej.
Limity zapytań, wsady i agenci
LangChain ułatwia pracę równoległą, co jest dokładnie tym, jak trafiasz w limity przypadkowo. Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę. Klucz próbny pozwala na 2 i 60. Użyj argumentu konfiguracyjnego, aby ograniczyć równoległość w wsadach.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
titles = llm.batch(
[f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
config={"max_concurrency": 8},
)
for t in titles:
print(t.content)Jeśli widzisz HTTP 429, kod błędu mówi dlaczego: rate_limited dla zapytań na minutę, concurrency dla zbyt wielu naraz. W przypadku tymczasowego przeciążenia odpowiedź zawiera Retry-After: 5. Logika ponawiania w podstawowym SDK obsługuje większość tego, ale agenci, którzy rozgałęziają się na wiele równoległych wywołań narzędzi, mogą nadal obciążać klucz próbny, więc zmniejsz max_concurrency do 2 tam.
Pętla agenta: każdy krok wysyła rosnącą rozmowę z powrotem jako wejście, więc tokeny wejściowe sumują się szybciej niż tokeny wyjściowe. Przy $0,15 za 1M wejścia i $0,50 za 1M wyjścia, uruchomienie agenta, które wysyła łącznie 60 000 tokenów wejściowych i produkuje 6 000 tokenów wyjściowych, kosztuje 60 000 / 1 000 000 x $0,15 + 6 000 / 1 000 000 x $0,50 = $0,009 + $0,003 = $0,012. Strona cen pokazuje wielkości doładowań.
Co się nie przenosi
- Embeddingi. Nie ma endpointu embeddingów. Jeśli Twój łańcuch pobierania opiera się na
OpenAIEmbeddings, użyj innego źródła embeddingów do tej części i zachowaj tylko model czatu tutaj. - Obrazy i audio. Usługa jest tylko tekstowa.
- Przełączanie modeli. Jest jeden model,
uncensored. Lista rozwijana z nazwami modeli dostawców nie będzie pasować. - Liczenie tokenów po nazwie. Biblioteki, które zgadują liczbę tokenów na podstawie nazwy modelu, mogą przyjąć przybliżenie. Dla prawdziwych liczb przeczytaj
usage_metadataw odpowiedzi na wiadomość.
Okno kontekstu wynosi 100 000 tokenów dla promptu i odpowiedzi łącznie, co jest hojne dla długich historii czatu i dodawania dokumentów. Sprawdź dokumentację, aby uzyskać pełną listę parametrów i pamiętaj, że model nie odrzuca legalnej treści dla dorosłych, więc dodaj własne filtry do dowolnego łańcucha publicznego. Bezwarunkową zasadą jest brak treści seksualnych z udziałem nieletnich.
Debugowanie łańcucha, który zachowuje się nienormalnie
Gdy łańcuch zwraca dziwne wyniki, sprawdź, co faktycznie trafiło do sieci, zanim zmienisz prompt. Trzy narzędzia pomogą, w kolejności rosnących nakładów pracy.
- Wypisz metadane odpowiedzi. Wiadomość zwrócona przez
invokezawieraresponse_metadataiusage_metadata. Możesz sprawdzić powód zakończenia i liczbę tokenów bez dodatkowej konfiguracji. - Włącz logowanie debugujące.
set_debug(True)zlangchain_core.globalswypisuje każdy prompt i odpowiedź w łańcuchu. Używaj go tylko w środowisku deweloperskim, ponieważ wypisuje pełne prompty. - Powtórz wywołanie za pomocą curl. Skopiuj sformatowane wiadomości z wyjścia debugowania do żądania do
https://api.openaiapiproxy.com/v1/chat/completions. Jeśli curl zachowa się tak samo, problem leży w Twoim prompcie. Jeśli inaczej, problem leży w łańcuchu.
Typowe objawy i gdzie szukać: błąd nie znaleziony zwykle oznacza, że bazowy URL ma podwójny /v1 lub go brakuje. Komunikat o nieznanym modelu oznacza, że nazwa nie jest uncensored. Puste listy wywołań narzędzi często oznaczają, że prompt nie wyjaśnił wyraźnie, że narzędzie powinno być użyte, co naprawia jaśniejszy opis narzędzia. A agent, który się zawiesza, może po prostu być w kolejce za własnymi równoległymi wywołaniami na kluczu próbnym, więc zmniejsz równoległość.
Zachowaj nagłówek identyfikatora zapytania (X-Request-Id) z nieudanych zapytań. Jeśli problem leży po stronie usługi, strona pomocy wyjaśnia, jak go zgłosić, a ten identyfikator przyspieszy proces.
