기술

RAG(Retrieval-Augmented Generation) 파이프라인에서 LLM이 정확한 답변을 생성하려면, 검색 단계에서 관련 문서를 빠짐없이, 높은 순위로 가져와야 한다. 하지만 “검색이 잘 되고 있는가?“를 감으로 판단할 수는 없다. 이 글에서는 Vector Search의 품질을 정량적으로 측정하는 5가지 핵심 메트릭을 정리한다. 각 메트릭이 무엇을 측정하는지, 어떻게 계산하는지, 그리고 어떤 상황에서 활용하는지를 구체적인 예시와 함께 살펴본다. 사전 개념: 골든 증거(Golden Evidence) 메트릭을 이해하기 전에 골든 증거의 개념을 먼저 알아야 한다. 골든 증거란 특정 질문에 대해 **“이 청크가 있어야 정답을 생성할 수 있다”**고 사람이 미리 판정해 둔 정답 문서(청크) 집합이다. 평가 데이터셋을 만들 때 각 질문마다 골든 증거를 함께 라벨링한다. ...

Kafka consumer의 기본 설정은 놀라울 정도로 간단하다. 메시지를 꺼내서 처리하면 끝이다. 하지만 운영 환경에서 consumer가 crash하면, 이미 처리한 메시지가 다시 처리되는 중복 문제를 겪게 된다. 이 글에서는 auto-commit이 왜 중복 처리를 유발하는지, 그리고 이를 어떻게 해결하는지 정리한다. Kafka는 Message Queue가 아니라 Distributed Log다 중복 처리 문제를 이해하려면 먼저 Kafka의 설계 철학을 알아야 한다. 전통적인 Message Queue (RabbitMQ, SQS) Broker가 메시지별 상태를 관리 msg1: delivered → consumer A → ack 받음 → 삭제 msg2: delivered → consumer A → ack 받음 → 삭제 msg3: delivered → consumer A → ack 안 옴 → 다른 consumer에게 재전달 Broker가 메시지 단위로 전달 상태를 추적한다. consumer가 ack를 보내면 그 메시지를 처리 완료로 표시한다. ...