DevOps 엔지니어를 위한 설정

적용 지점: Gateway 지원 모드: Hosted Hybrid Local 플랜: Free Solo Teams

대상 독자

서비스를 운영하는 분입니다. AI 호출은 소스를 소유하지 않을 수도 있는 앱에서 나가며, 모든 팀에 코드 변경을 요청하지 않고도 그 앞에 통제 및 감사 지점이 필요합니다.

일반적으로 통제하려는 대상

• 모든 서비스의 LLM 호출에 대해 설정으로 정하는 단일 관문.
• 앱별이 아니라 일괄적으로 적용되는 모델 및 비용 가드레일.

영어 원문 -- 번역은 기술 검토 대기 중입니다

• An audit trail that survives even for agents you cannot instrument.

설치할 적용 지점

Gateway입니다. 투명 프록시로, 기본 URL 하나를 바꾸고 헤더 두 개를 추가하면 게이트웨이가 그곳을 통과하는 LLM 호출을 통제합니다. 애플리케이션 코드는 변경하지 않습니다.

# Point your app's provider base URL at the gateway.
export OPENAI_BASE_URL=https://gateway.controlzero.ai/v1

아웃바운드 요청에 Control Zero 헤더를 추가하세요(서비스의 설정이나 사이드카에서 지정).

X-ControlZero-API-Key: cz_live_your_key_here
X-ControlZero-Agent-ID: payments-service

자체 경계 안에서 필요하다면 게이트웨이를 셀프 호스팅으로 실행할 수도 있습니다. Gateway 가이드를 참고하세요.

시작용 정책

게이트웨이를 배포하는 동안 프로덕션 호출이 깨지지 않도록 관찰 상태로 시작한 뒤 점차 강화하세요. 이 정책은 트래픽을 허용하면서 모든 것을 기록합니다.

version: '1'
settings:
  # Roll out in observe; flip to "deny" per service once audit looks clean.
  default_action: allow
  default_on_missing: allow
  default_on_tamper: warn
rules:
  - id: allow-vetted-models
    allow: 'llm:generate'
    resources:
      - 'model/claude-*'
      - 'model/gpt-*'
    reason: 'Only vetted model families while we establish a baseline.'

감사 로그에 안정적인 모델 집합이 보이면 default_action을 warn으로, 그다음 deny로 옮기고, 목록에 없는 모델은 모두 차단되도록 전체 거부(catch-all deny)를 추가하세요. 이 설정 하나만 바꾸면 같은 정책이 개발, 스테이징, 프로덕션으로 승격됩니다. 개발은 경고, 프로덕션은 거부와 LLM 모델 허용 목록을 참고하세요.

확인할 수 있는 내용

영어 원문 -- 번역은 기술 검토 대기 중입니다

• A complete request and response decision trail in the Audit Log, attributed to the X-ControlZero-Agent-ID you set per service. Per-event coverage distinguishes “did not run” from “ran and found nothing.”

영어 원문 -- 번역은 기술 검토 대기 중입니다

• Pre-flight checks (model blocking, cost caps, PII detection) recorded on every request before it reaches the provider.

다음 단계

• 기존 AI 앱 통제하기(코드 변경 없음) -- 게이트웨이 전체 안내.
• Gateway -- 지원하는 제공자, 셀프 호스팅 배포, 설정.
• 개발은 경고, 프로덕션은 거부 -- 하나의 정책, 두 가지 상태.
• 관찰 전용 설정 -- 아무것도 깨뜨리지 않고 배포하세요.