Poin utama
- Di Python gunakan ChatOpenAI(base_url=..., api_key=..., model="uncensored"). Di JavaScript gunakan configuration.baseURL.
- Prompt, rantai, streaming, binding alat, dan mode JSON tetap berfungsi melalui antarmuka standar.
- Embeddings tidak ditawarkan, sehingga OpenAIEmbeddings harus mengarah ke layanan lain.
- Gunakan max_concurrency 8 pada kunci penuh dan biarkan retry menangani respons 429.
Perubahan dua baris
Saat Anda mencari langchain openai base url, jawabannya singkat. Kelas chat OpenAI LangChain membungkus SDK OpenAI, dan SDK tersebut menerima base URL kustom. Arahkan ke layanan ini dan tidak ada yang lain di rantai Anda yang perlu diubah. Instal paket dengan pip install langchain-openai langchain-core terlebih dahulu.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key="YOUR_KEY",
temperature=0.8,
)
print(llm.invoke("Describe a rainy harbor town in two sentences.").content)Itulah seluruh integrasi. Layanan ini kompatibel dengan OpenAI, tetapi merupakan produk terpisah: satu model bobot terbuka, dijalankan oleh penyedia independen, tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari OpenAI atau vendor lain. Untuk mendapatkan kunci, gunakan halaman kunci API; akun baru dapat mengklaim kredit uji coba senilai $0,50 dengan satu klik, tanpa kartu.
Mengapa ini berhasil: ChatOpenAI membangun permintaan penyelesaian chat standar dan mengirimkannya ke alamat yang diberikan. Layanan menjawab dengan bentuk respons standar, sehingga objek pesan LangChain, callback, dan parser berperilaku seperti saat berhadapan dengan penyedia lain. Anda tetap menggunakan abstraksi yang sama, dan hanya tujuan yang berubah. Karena tujuannya adalah model yang berbeda, Anda harus menguji ulang prompt Anda. Prompt yang ditulis untuk memancing model restriktif agar bekerja sama mungkin tidak diperlukan di sini, dan instruksi yang lebih singkat sering kali lebih efektif.
Variabel lingkungan atau argumen eksplisit
Anda dapat mengkonfigurasi hal yang sama melalui lingkungan, dan ini berguna untuk deployment. SDK OpenAI membaca OPENAI_BASE_URL dan OPENAI_API_KEY. Dokumentasi LangChain versi lama menggunakan OPENAI_API_BASE untuk tujuan yang sama. Karena nama telah bergeser antar versi, kebiasaan teraman adalah meneruskan base_url dan api_key secara eksplisit dan membaca variabel Anda sendiri.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.openaiapiproxy.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=3,
timeout=120,
)Manfaat nyata dari argumen eksplisit: jika proyek Anda juga menggunakan penyedia lain untuk tugas lain, variabel global yang tersesat tidak akan mengalihkan lalu lintas itu ke tempat yang salah. Dua objek ChatOpenAI dengan base URL yang berbeda dapat hidup berdampingan dengan baik dalam proses yang sama.
Pengaturan yang sama di LangChain.js
Di paket JavaScript, base URL masuk ke dalam objek configuration yang diserahkan ke SDK di bawahnya.
import { ChatOpenAI } from "@langchain/openai";
const llm = new ChatOpenAI({
model: "uncensored",
apiKey: process.env.UNCENSORED_API_KEY,
configuration: {
baseURL: "https://api.openaiapiproxy.com/v1",
},
});
const res = await llm.invoke("Give me three names for a haunted ship.");
console.log(res.content);Penulisan huruf besar adalah jebakan umum: Python menggunakan base_url, SDK JavaScript menggunakan baseURL.
Prompt, model, dan parser
Setelah model chat dibangun, bahasa ekspresi LangChain berfungsi seperti biasa. Rantai ini mengubah topik menjadi adegan pendek dan mengembalikan string biasa.
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You write short scenes for an adult fiction platform."),
("human", "Write a scene about: {topic}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"topic": "two smugglers meeting at a closed customs office"}))
for piece in chain.stream({"topic": "a stormy night at a mountain inn"}):
print(piece, end="", flush=True)Streaming bergantung pada peristiwa yang dikirim server layanan, yang tiba saat model membuatnya. Panggilan streaming memegang satu slot konkurensi hingga selesai.
Operator | menyusun runnables, sehingga rantai yang sama dapat nanti mendapatkan retriever, panggilan model kedua, atau parser output tanpa menyentuh langkah sebelumnya. Jika Anda memindahkan template prompt antar penyedia, simpan template dalam file agar dapat Anda versi secara terpisah dari pengaturan endpoint.
Pemanggilan fungsi dan output JSON
LangChain mengubah fungsi Python menjadi skema alat dengan dekorator @tool dan mengirimkannya melalui parameter tools standar. Layanan mendukung tools, tool_choice dan tool_calls streaming, sehingga bind_tools berfungsi.
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def lookup_character(name: str) -> str:
"""Return the notes for a character in the story bible."""
notes = {"Mara": "A ferry pilot with a fear of deep water."}
return notes.get(name, "No notes.")
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([lookup_character])
reply = llm_tools.invoke("What do we know about Mara?")
for call in reply.tool_calls:
print(call["name"], call["args"])
print(lookup_character.invoke(call["args"]))Untuk mode JSON, ikatkan format respons dan sebutkan JSON dalam instruksi Anda:
import json
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
json_llm = llm.bind(response_format={"type": "json_object"})
msg = json_llm.invoke("Return a JSON object with keys title and summary for a pirate novel.")
print(json.loads(msg.content))Meskipun dengan mode JSON, bungkus parsing dalam penanganan kesalahan. Berapa pun penyedianya, output yang rusak terjadi sesekali, dan satu kali retry dengan kesalahan parsing yang dilampirkan biasanya memperbaikinya.
Riwayat chat dan dokumen panjang
Model chat LangChain menerima daftar pesan, dan riwayat adalah tanggung jawab Anda. Kelas pesan membuat peran menjadi eksplisit, yang lebih jelas daripada tuple ketika prompt memiliki beberapa bagian.
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY")
messages = [
SystemMessage(content="You are the narrator of a slow-burn mystery."),
HumanMessage(content="Open with the detective arriving in town."),
]
first = llm.invoke(messages)
messages.append(AIMessage(content=first.content))
messages.append(HumanMessage(content="Now introduce the suspicious innkeeper."))
second = llm.invoke(messages)
print(second.content)
print(second.usage_metadata)Jendela konteks adalah 100.000 token, untuk prompt dan completion bersama. Itu berarti ruang untuk riwayat obrolan panjang, lembar karakter, dan beberapa halaman teks referensi dalam satu permintaan. Itu tidak berarti Anda harus selalu mengisinya. Token input dibebankan $0,15 per 1M, jadi prompt 60.000 token biayanya 60.000 / 1.000.000 x $0,15 = $0,009 per permintaan sebelum model menulis kata. Langkah retrieval yang hanya mengirim tiga halaman relevan lebih murah dan sering memberikan jawaban yang lebih baik.
Saat prompt dibangun dari banyak teks yang diambil, ingat batas 8 MB pada body permintaan. Itu jauh di atas apa yang diizinkan jendela token untuk teks normal, jadi Anda biasanya akan mencapai batas token terlebih dahulu, tetapi data yang disisipkan dengan string panjang tanpa putus dapat berperilaku berbeda.
Batas laju, batch, dan agen
LangChain membuat pekerjaan paralel menjadi mudah, yang merupakan cara Anda melanggar batas secara tidak sengaja. Kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit. Kunci uji coba mengizinkan 2 dan 60. Gunakan argumen config untuk membatasi paralelisme dalam batch.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="uncensored", base_url="https://api.openaiapiproxy.com/v1", api_key="YOUR_KEY", max_retries=4)
titles = llm.batch(
[f"Suggest a title for episode {i} of a space western." for i in range(1, 25)],
config={"max_concurrency": 8},
)
for t in titles:
print(t.content)Jika Anda melihat HTTP 429, kode kesalahan mengatakan alasannya: rate_limited untuk permintaan per menit, concurrency untuk terlalu banyak sekaligus. Saat overload sementara, respons menyertakan Retry-After: 5. Logika retry di SDK yang mendasarinya menangani sebagian besar ini, tetapi agen yang menyebar ke banyak panggilan alat paralel masih dapat membebani kunci uji coba, jadi turunkan max_concurrency menjadi 2 di sana.
Loop agen: setiap langkah mengirim kembali percakapan yang berkembang sebagai input, jadi token input bertambah lebih cepat daripada token output. Pada $0,15 per 1M input dan $0,50 per 1M output, menjalankan agen yang mengirim total 60.000 token input dan menghasilkan 6.000 token output biayanya 60.000 / 1.000.000 x $0,15 + 6.000 / 1.000.000 x $0,50 = $0,009 + $0,003 = $0,012. Halaman harga menunjukkan ukuran isi saldo.
Apa yang tidak tetap berlaku
- Embeddings. Tidak ada endpoint embeddings. Jika rantai retrieval Anda dibangun di atas
OpenAIEmbeddings, gunakan sumber embedding lain untuk bagian itu dan pertahankan hanya model chat di sini. - Gambar dan audio. Layanan hanya teks.
- Penggantian model. Ada satu model,
uncensored. Dropdown nama model vendor tidak akan cocok. - Penghitungan token berdasarkan nama. Perpustakaan yang menebak jumlah token dari nama model mungkin kembali ke perkiraan. Untuk angka sebenarnya, baca
usage_metadatapada pesan respons.
Jendela konteks adalah 100.000 token untuk prompt dan completion bersama, yang sangat baik untuk riwayat obrolan panjang dan penambahan dokumen. Periksa dokumentasi untuk daftar lengkap parameter, dan ingat bahwa model tidak menolak konten dewasa yang sah, jadi tambahkan filter Anda sendiri ke rantai apa pun yang ditujukan untuk publik. Aturan kerasnya adalah tidak ada konten seksual yang melibatkan anak di bawah umur.
Men-debug rantai yang berperilaku aneh
Ketika rantai memberikan output aneh, cari tahu apa yang sebenarnya dikirim melalui kabel sebelum Anda mengubah prompt. Tiga alat membantu, sesuai urutan usaha.
- Cetak metadata respons. Pesan yang dikembalikan oleh
invokemenyertakanresponse_metadatadanusage_metadata. Anda dapat memeriksa finish reason dan jumlah token tanpa pengaturan tambahan. - Aktifkan logging debug.
set_debug(True)darilangchain_core.globalsmencetak setiap prompt dan respons dalam rantai. Gunakan hanya dalam pengembangan, karena itu mencetak prompt lengkap. - Putar ulang panggilan dengan curl. Salin pesan yang dirender dari output debug ke permintaan ke
https://api.openaiapiproxy.com/v1/chat/completions. Jika curl berperilaku sama, masalahnya ada pada prompt Anda. Jika berbeda, masalahnya ada pada rantai.
Gejala umum dan tempat untuk diperiksa: kesalahan not-found biasanya berarti base URL memiliki /v1 yang digandakan atau tidak ada. Pesan tentang model yang tidak dikenal berarti nama tersebut bukan uncensored. Daftar panggilan fungsi kosong sering berarti prompt tidak membuat jelas bahwa fungsi harus digunakan, yang dapat diperbaiki dengan deskripsi fungsi yang lebih jelas. Dan agen yang macet mungkin hanya antri di balik panggilan paralelnya sendiri pada kunci uji coba, jadi turunkan permintaan paralel.
Catat header ID permintaan (X-Request-Id) dari kegagalan. Jika masalah ada di sisi layanan, halaman dukungan menjelaskan cara melaporkannya, dan ID itu mempercepat proses.
