LLM Gateway

밑바닥부터 만드는 프로덕션 LLM 게이트웨이.

• 멀티 프로바이더 라우팅·페일오버, 레이트리밋, 캐시, 미터링, 멀티테넌시, 스트리밍(SSE), 관측, k8s 배포·오토스케일.
• 워크로드는 합성 멀티모달 트래픽(텍스트=경량 / 이미지=고비용)으로 재현.
• 2단계 중 1단계. 종료 후 모델 배포 인프라(프로젝트 2) 로 이어진다 — 게이트웨이가 그 앞단이 된다.

스택

Python 3.12 · FastAPI · PostgreSQL · Redis · Prometheus/Grafana · Docker/Kubernetes · Locust(또는 k6)

문서

• DESIGN.md — 설계 청사진 (아키텍처·기술 선택·Phase 0~6 로드맵·DoD).
• PROGRESS.md — 진행 상태 체크리스트 + 세션 로그.
• CLAUDE.md — 작업 컨텍스트 (Claude 세션이 맥락을 이어받는 파일).

상태

프로젝트 1 — Phase 0 진행 중.