uvicorn
글 1편, 메모 0개
LiteLLM CPU 병목 — 단일 워커에 묶인 LLM 게이트웨이
VM에 띄운 LiteLLM이 4코어 서버에서 CPU가 한 코어(약 27.6%)에서 천장을 쳤습니다. LiteLLM은 FastAPI 앱이라 워커 하나가 1코어만 씁니다. VM에선 워커를 늘려 임시로 막고, 이후 EKS로 Helm 마이그레이션해 파드 수평 확장으로 정리했습니다.
글 1편, 메모 0개
VM에 띄운 LiteLLM이 4코어 서버에서 CPU가 한 코어(약 27.6%)에서 천장을 쳤습니다. LiteLLM은 FastAPI 앱이라 워커 하나가 1코어만 씁니다. VM에선 워커를 늘려 임시로 막고, 이후 EKS로 Helm 마이그레이션해 파드 수평 확장으로 정리했습니다.