RAG(Retrieval-Augmented Generation) 파이프라인에서 LLM이 정확한 답변을 생성하려면, 검색 단계에서 관련 문서를 빠짐없이, 높은 순위로 가져와야 한다. 하지만 “검색이 잘 되고 있는가?“를 감으로 판단할 수는 없다. 이 글에서는 Vector Search의 품질을 정량적으로 측정하는 5가지 핵심 메트릭을 정리한다. 각 메트릭이 무엇을 측정하는지, 어떻게 계산하는지, 그리고 어떤 상황에서 활용하는지를 구체적인 예시와 함께 살펴본다. 사전 개념: 골든 증거(Golden Evidence) 메트릭을 이해하기 전에 골든 증거의 개념을 먼저 알아야 한다. 골든 증거란 특정 질문에 대해 **“이 청크가 있어야 정답을 생성할 수 있다”**고 사람이 미리 판정해 둔 정답 문서(청크) 집합이다. 평가 데이터셋을 만들 때 각 질문마다 골든 증거를 함께 라벨링한다. ...

Kafka consumer의 기본 설정은 놀라울 정도로 간단하다. 메시지를 꺼내서 처리하면 끝이다. 하지만 운영 환경에서 consumer가 crash하면, 이미 처리한 메시지가 다시 처리되는 중복 문제를 겪게 된다. 이 글에서는 auto-commit이 왜 중복 처리를 유발하는지, 그리고 이를 어떻게 해결하는지 정리한다. Kafka는 Message Queue가 아니라 Distributed Log다 중복 처리 문제를 이해하려면 먼저 Kafka의 설계 철학을 알아야 한다. 전통적인 Message Queue (RabbitMQ, SQS) Broker가 메시지별 상태를 관리 msg1: delivered → consumer A → ack 받음 → 삭제 msg2: delivered → consumer A → ack 받음 → 삭제 msg3: delivered → consumer A → ack 안 옴 → 다른 consumer에게 재전달 Broker가 메시지 단위로 전달 상태를 추적한다. consumer가 ack를 보내면 그 메시지를 처리 완료로 표시한다. ...

천연가스는 변동성이 매우 커서 **‘원자재계의 야생마’**라고 불린다. 최근 기상 이변 소식과 함께 주목받고 있는 천연가스 선물의 핵심 투자 포인트를 정리해 본다. 1. 선물 투자의 기본: 롤오버(Rollover) 선물 거래에는 **‘만기’**라는 개념이 있다. 투자를 지속하려면 만기가 임박한 상품을 팔고 다음 달 상품을 사야 하는데, 이 과정을 **‘롤오버’**라고 한다. 이때 두 월물의 가격 차이에 따라 수익 구조가 결정된다. 콘탱고(Contango): 근월물 < 차월물 (일반적 상황). 갈아탈 때 더 비싸게 사야 하므로 비용(손실) 발생. 백워데이션(Backwardation): 근월물 > 차월물 (현재 상황). 비싼 걸 팔고 싼 걸 사기 때문에 수량 증가(이득) 발생. Memo: 현재 천연가스 시장은 백워데이션 상태라 롤오버 시 ‘수익성’이 좋아지는 이례적인 구간이다. ...

2017년 1월 2일, LG Display OLED TV 회로설계 1팀에 입사했다. 이후 에이팀벤처스, Sendbird, 쿼타랩, 차이코퍼레이션, 브이원씨까지 약 9년 동안 여러 조직과 환경을 거치며 커리어를 이어왔다. 처음 커리어를 시작했을 때 세웠던 계획과 비교해보면,어떤 계획은 예상보다 빠르게 진행됐고, 어떤 계획은 더디게 진행됐다. 또 어떤 결정은 방향 자체가 바뀌기도 했다. 이 글은 그 과정 속에서 내가 느끼고 배운 점들, 그리고 생각의 변화를 정리해보려는 기록이다. 9년 만에 처음 쓰는 회고인 만큼 기억은 오래된 레거시 코드처럼 뒤엉켜 있다. 그래서 구체적인 사건을 나열하기보다는, 당시의 중요한 결정과 그로 인해 달라진 생각들을 중심으로 적어보려고 한다. 앞으로의 3년, 5년, 나아가 20년을 더 의미 있게 보내기 위해 과거를 돌아보고, 그 안에서 앞으로의 방향을 정리해보고자 한다. ...