llm

글 4편, 메모 0개

• LLM 게이트웨이 패턴 — 프록시를 두는 이유

  2026-08-13AI 인프라

  서비스마다 OpenAI·Bedrock을 직접 부르면 키가 흩어지고 비용을 못 추적하고 provider를 못 바꿉니다. 프록시 하나를 두면 이게 다 한 곳으로 모입니다.

• 번역 프롬프트 엔지니어링의 한계 — 모델 천장

  2026-08-06AI 인프라

  작은 모델로 자막을 번역하니 전문용어를 직역하고 관용구를 문자 그대로 옮겼습니다. 프롬프트 규칙으로 상당 부분 잡혔지만, 고정 예시를 넣었더니 그게 그대로 출력에 새어 나왔습니다.

• LLM 자막 번역 — 줄 밀림과 문장 그룹핑

  2026-08-04만든 것

  여러 줄을 한 번에 번역시키면 LLM이 줄 경계를 흐려 번역이 한 줄씩 밀립니다. 그리고 한 문장이 자막 세 조각에 걸치면 조각별 번역은 원리적으로 불가능합니다.

• Langfuse LLM 비용 집계 누락 — 워커 이미지에 포함된 모델 단가

  2026-07-26AI 인프라

  새로 나온 모델의 트레이스는 잘 쌓이는데 비용이 $0로 집계됐습니다. Langfuse 워커가 기동 때 이미지에 번들된 기본 단가 JSON으로 DB를 시딩하는데, 배포된 이미지가 그 모델보다 오래돼 단가가 없었습니다.