AI 인프라
LLM 게이트웨이, 추론 서빙, 관측과 비용 통제.
LiteLLM CPU 병목 — 단일 워커에 묶인 LLM 게이트웨이
VM에 띄운 LiteLLM이 4코어 서버에서 CPU가 한 코어(약 27.6%)에서 천장을 쳤습니다. LiteLLM은 FastAPI 앱이라 워커 하나가 1코어만 씁니다. VM에선 워커를 늘려 임시로 막고, 이후 EKS로 Helm 마이그레이션해 파드 수평 확장으로 정리했습니다.
LLM 게이트웨이 패턴 — 프록시를 두는 이유
서비스마다 OpenAI·Bedrock을 직접 부르면 키가 흩어지고 비용을 못 추적하고 provider를 못 바꿉니다. 프록시 하나를 두면 이게 다 한 곳으로 모입니다.
IRSA 크로스 계정 인증 — EKS Pod의 다른 계정 Bedrock 접근
ServiceAccount에 붙이는 role-arn과 앱 설정에 쓰는 role은 서로 다른 계정의 다른 역할입니다. 액세스 키를 걷어내면서 이 구분이 필요했습니다.
번역 프롬프트 엔지니어링의 한계 — 모델 천장
작은 모델로 자막을 번역하니 전문용어를 직역하고 관용구를 문자 그대로 옮겼습니다. 프롬프트 규칙으로 상당 부분 잡혔지만, 고정 예시를 넣었더니 그게 그대로 출력에 새어 나왔습니다.
Langfuse LLM 비용 집계 누락 — 워커 이미지에 포함된 모델 단가
새로 나온 모델의 트레이스는 잘 쌓이는데 비용이 $0로 집계됐습니다. Langfuse 워커가 기동 때 이미지에 번들된 기본 단가 JSON으로 DB를 시딩하는데, 배포된 이미지가 그 모델보다 오래돼 단가가 없었습니다.
검색 결과가 없습니다.