gateway
글 2편, 메모 0개
LLM 게이트웨이 패턴 — 프록시를 두는 이유
서비스마다 OpenAI·Bedrock을 직접 부르면 키가 흩어지고 비용을 못 추적하고 provider를 못 바꿉니다. 프록시 하나를 두면 이게 다 한 곳으로 모입니다.
게이트웨이 JWT 검증 — exp 누락
만료된 토큰으로 호출했는데 401이 아니라 200이 왔습니다. 서명 검증은 정상인데 exp 클레임만 무시하고 있었습니다. 탈취된 토큰이 무기한 유효해지는 상황입니다.