performance
글 2편, 메모 0개
LiteLLM CPU 병목 — 단일 워커에 묶인 LLM 게이트웨이
VM에 띄운 LiteLLM이 4코어 서버에서 CPU가 한 코어(약 27.6%)에서 천장을 쳤습니다. LiteLLM은 FastAPI 앱이라 워커 하나가 1코어만 씁니다. VM에선 워커를 늘려 임시로 막고, 이후 EKS로 Helm 마이그레이션해 파드 수평 확장으로 정리했습니다.
대용량 CSV 스트리밍 — StreamingHttpResponse · select_related
관리 데이터를 CSV로 내보내는 기능인데 데이터가 쌓이니 응답이 느려지고 메모리를 먹었습니다. 응답을 스트리밍으로 바꾸고, ORM의 N+1을 select_related로 잡았습니다.