Penyiapan untuk insinyur DevOps
Titik penerapan: Gateway Mode yang didukung: Hosted Hybrid Local Paket: Free Solo Teams
Untuk siapa ini
Anda menjalankan layanan-layanan tersebut. Pemanggilan AI mengalir keluar dari aplikasi yang mungkin tidak Anda miliki kode sumbernya, dan Anda membutuhkan titik kendali dan audit di depannya, tanpa meminta setiap tim untuk merilis perubahan kode.
Apa yang biasanya ingin Anda kendalikan
- Satu titik sempit (choke point) untuk setiap pemanggilan LLM di seluruh layanan, ditetapkan melalui konfigurasi.
- Pagar pengaman model dan biaya yang diterapkan secara seragam, bukan per aplikasi.
Teks asli berbahasa Inggris -- terjemahan menunggu tinjauan teknis
- An audit trail that survives even for agents you cannot instrument.
Titik penerapan mana yang dipasang
Gateway. Ini adalah proxy transparan: ubah satu base URL dan tambahkan dua header, dan gateway mengendalikan pemanggilan LLM yang melewatinya. Tanpa perubahan kode aplikasi.
# Point your app's provider base URL at the gateway.
export OPENAI_BASE_URL=https://gateway.controlzero.ai/v1
Tambahkan header Control Zero ke permintaan keluar (setel di konfigurasi layanan atau sidecar Anda):
X-ControlZero-API-Key: cz_live_your_key_here
X-ControlZero-Agent-ID: payments-service
Gateway juga dapat dijalankan secara self-hosted jika Anda membutuhkannya di dalam batas jaringan Anda sendiri -- lihat panduan Gateway.
Kebijakan awal
Mulailah dalam mode pantau agar tidak ada pemanggilan produksi yang rusak selama Anda meluncurkan gateway, lalu perketat. Kebijakan ini mengizinkan lalu lintas dan mencatat semuanya:
version: '1'
settings:
# Roll out in observe; flip to "deny" per service once audit looks clean.
default_action: allow
default_on_missing: allow
default_on_tamper: warn
rules:
- id: allow-vetted-models
allow: 'llm:generate'
resources:
- 'model/claude-*'
- 'model/gpt-*'
reason: 'Only vetted model families while we establish a baseline.'
Setelah log audit menunjukkan kumpulan model yang stabil, pindahkan default_action ke
warn, lalu deny, dan tambahkan aturan tolak menyeluruh (catch-all) sehingga model apa pun yang tidak ada di daftar
diblokir. Kebijakan yang sama dipromosikan melalui dev, staging, dan prod hanya dengan mengubah
satu pengaturan itu -- lihat Dev memperingatkan, prod menolak
dan Daftar izin model LLM.
Apa yang akan Anda lihat
Teks asli berbahasa Inggris -- terjemahan menunggu tinjauan teknis
- A complete request and response decision trail in the Audit Log,
attributed to the
X-ControlZero-Agent-IDyou set per service. Per-event coverage distinguishes “did not run” from “ran and found nothing.”
Teks asli berbahasa Inggris -- terjemahan menunggu tinjauan teknis
- Pre-flight checks (model blocking, cost caps, PII detection) recorded on every request before it reaches the provider.
Langkah berikutnya
- Mengendalikan aplikasi AI yang sudah ada (tanpa perubahan kode) -- panduan gateway lengkap.
- Gateway -- penyedia yang didukung, deployment self-hosted, konfigurasi.
- Dev memperingatkan, prod menolak -- satu kebijakan, dua sikap.
- Penyiapan hanya-pantau -- luncurkan tanpa merusak apa pun.