[RAG] 심화 개념 정리

난이도: 초중급

태그: RAG,Agent,검색증강

이 문서는 AI 전문가가 뉴비에게 설명하듯 작성된 심화판입니다. 개념을 암기하는 것이 아니라, 실무 의사결정에 연결하는 것을 목표로 합니다.

당시 상황과 역사적 맥락

LLM 환각과 최신성 한계가 실제 서비스에서 큰 리스크로 드러나던 시기였습니다.

모델 구조/구성요소 역할 (초심자용)

• Retriever: 질문 관련 문서 후보 검색
• Ranker(optional): 근거 품질 재정렬
• Generator: 근거 조건부 답변 생성
• Citation/grounding: 답변-근거 연결 확인

역사적 의미와 후속 영향

• 엔터프라이즈 LLM의 기본 아키텍처로 정착
• "모델 재학습" 대신 "지식베이스 업데이트" 운영 가능
• 검색 품질/인덱스 관리가 LLM 품질의 핵심 축이 됨

아주 쉽게 한 줄 요약

모델이 답하기 전에 문서를 먼저 찾아보고 그 근거로 답하는 구조입니다.

즉 RAG는 "모델 파라미터 안에만 지식을 넣는 방식"의 한계를 보완하기 위해, 외부 문서를 검색해서 답변에 주입하는 구조다. 최신 정보, 사내 문서, 도메인 지식을 쓰고 싶을 때 가장 기본이 되는 패턴이다.

진짜 핵심 3문장

• 이 방법은 기존 방식의 병목을 줄이기 위해 나왔습니다.
• 핵심 아이디어는 "더 잘 이해"하거나 "더 효율적으로 계산"하는 구조/학습법 변경입니다.
• 실무에서는 성능만 보지 말고 비용/지연/안전까지 같이 봐야 합니다.

RAG를 볼 때 중요한 건 생성 모델이 아니라 검색 단계다. 어떤 문서를 가져오느냐가 사실상 답변 품질을 먼저 결정하기 때문에, retrieval 품질과 grounding을 같이 봐야 한다.

처음 보는 사람용 핵심 용어 5개

• 학습(Training): 모델이 데이터를 보고 규칙을 익히는 과정
• 추론(Inference): 학습된 모델이 실제 질문에 답하는 과정
• 파라미터: 모델이 학습으로 얻게 되는 숫자(지식 저장소)
• 지표(Metric): 모델이 잘하는지 수치로 보는 기준
• 트레이드오프: 성능을 올리면 비용/속도가 나빠질 수 있는 관계

그림/자료로 다시 보기

그림 파일은 순차 추가 예정입니다. 우선 아래 도식 설명을 기준으로 읽으세요.

• 그림에서 먼저 볼 것: 질문->검색->근거주입->생성 흐름을 반드시 단계별로 보세요.
• 자료 읽는 순서: (1) 한 줄 요약 -> (2) 구조/흐름 도식 -> (3) 핵심 수식 -> (4) 리스크/실무 적용
• 체크 질문: "이 블록이 없으면 성능/비용에 어떤 문제가 생길까?"를 스스로 답해보세요.

1단. 문제 정의

LM 단독은 최신성·출처성·사실성에서 한계가 있다.

핵심 질문은 "왜 기존 방법으로는 충분하지 않았는가"입니다.

2단. 기존 한계

파라메트릭 메모리는 업데이트 비용이 크고 근거 추적이 어렵다.

면접에서는 한계를 구조/학습/운영 관점으로 나눠 말하면 설득력이 올라갑니다.

3단. 핵심 아이디어

질문→검색→근거 주입→생성 파이프라인으로 grounding을 강화한다.

핵심은 변경점 자체보다, 그 변경점이 병목을 어떻게 줄였는지 설명하는 것입니다.

핵심 수식/알고리즘

• P(y|x)≈P(y|x, D_topk): 검색 문서 조건부 생성
• retrieve-then-read: retriever와 generator 결합

BERT 벡터와 FAISS의 역할은 완전히 다르다

• 임베딩 모델(BERT/SBERT/e5/bge 등): 텍스트를 벡터로 변환
• FAISS: 이미 만들어진 벡터를 빠르게 최근접 검색

즉 FAISS는 벡터를 "만드는" 도구가 아니라, 벡터를 "찾는" 도구입니다.

실제 파이프라인: text -> embedding model -> vector -> FAISS index/search

문장 벡터는 어떻게 만드나?

단어 벡터만으로 검색하지 않고, 보통 문장/청크 단위 벡터를 만듭니다.

• CLS pooling: [CLS] 벡터 사용
• Mean pooling: 토큰 벡터 평균 (패딩 제외)
• Sentence-Transformer: 문장 유사도용으로 학습된 전용 임베딩

실무 검색 품질은 대개 일반 BERT raw pooling보다 sentence embedding 전용 모델이 더 안정적입니다.

토큰 벡터에서 문장 벡터로: 실제 모양(shape)으로 이해하기

예문 I love machine learning를 BERT에 넣으면, 출력은 보통 토큰별 벡터 집합입니다.

• I -> [ ... 768차원 ... ]
• love -> [ ... 768차원 ... ]
• machine -> [ ... 768차원 ... ]
• learning -> [ ... 768차원 ... ]

즉 단순화하면 4 x 768 행렬입니다. 그런데 검색은 "문장 1개 -> 벡터 1개"가 필요하므로 pooling 단계가 반드시 들어갑니다.

CLS 방식: [CLS] I love machine learning [SEP]에서 마지막 [CLS] 벡터를 문장 벡터로 사용

Mean 방식: v_sentence = (v_I + v_love + v_machine + v_learning) / 4

SBERT 방식: 문장 유사도 목적(유사 문장 가깝게, 무관 문장 멀게)으로 추가 학습된 모델을 사용

왜 SBERT가 검색에서 자주 유리한가

일반 BERT는 MLM 중심 사전학습이라 문장-문장 거리 자체를 직접 최적화하지 않습니다. 반면 SBERT류는 유사/비유사 문장 쌍으로 임베딩 공간을 정렬하기 때문에 semantic search에서 보통 더 안정적인 최근접 결과를 제공합니다.

실제 시스템 관점 정리

text -> embedding model (BERT/SBERT) -> vector -> vector DB (FAISS) -> nearest search

여기서 embedding 모델은 "의미를 벡터로 인코딩"하고, FAISS는 "수백만 벡터 중 최근접 검색을 가속"합니다.

용어/기호 빠른 사전 (뉴비용)

• baseline: 비교 기준이 되는 가장 단순한 방법
• objective / loss: 모델이 최소화하려는 학습 목표 함수
• inference: 학습된 모델로 실제 입력에 대해 예측을 수행하는 단계
• latency: 요청 1건 처리 시간(지연), throughput: 단위 시간 처리량
• Q/K/V: Attention에서 Query/Key/Value 벡터
• d_k: Key 벡터 차원(스케일링에 사용)
• N, D, C: 보통 파라미터 수(N), 데이터 토큰량(D), 연산 예산(Compute, C)
• top-k: 점수가 높은 상위 k개 후보
• KL: 두 확률분포 차이를 나타내는 발산 지표(정렬/RL 문맥에서 자주 사용)
• trade-off: 한 지표를 올릴 때 다른 지표(비용/지연 등)를 일부 포기해야 하는 관계

읽는 방법: 수식에서 기호가 나오면 먼저 위 사전으로 의미를 확인하고, 그다음 "이 기호가 성능/비용 중 무엇을 바꾸는지"를 연결해서 이해하면 됩니다.

논문 간 비교 포인트

Self-RAG/ReAct는 RAG를 동적/행동 기반으로 확장.

4단. 비용/리스크

검색 실패 전파, 인덱스 품질 의존, 프롬프트 누수.

• 품질 리스크: 분포 이동 시 성능 저하 가능
• 운영 리스크: 지연/메모리/비용 급증 가능
• 거버넌스 리스크: 안전/편향/출처 검증 요구 증가

실패 사례 체크리스트

• 긴 입력/드문 도메인에서 급격한 품질 저하가 있는가
• 단일 지표는 좋아도 사용자 체감 오류가 늘어나는가
• 평균 성능 뒤에 tail failure가 숨겨져 있지 않은가

5단. 실무 적용

지식베이스 QA, 엔터프라이즈 문서 질의, 규정 답변 자동화에 핵심 패턴.

• 도입 전: baseline 2개(품질/비용)로 사전 비교
• 도입 중: canary 배포 + rollback 조건 명시
• 도입 후: 품질/지연/비용/안전성 대시보드 동시 모니터링

예상 질문과 답변 (면접/실무 심화)

Q1. 이 논문의 핵심 기여를 한 문장으로 말해보세요.
A1. 핵심은 기존 병목을 특정하고, 그 병목을 직접 줄이는 학습/구조/시스템 변경을 제시했다는 점입니다. 면접에서는 숫자보다 병목-해결 매핑을 먼저 말하면 전달력이 높습니다.

Q2. 성능이 좋아도 실무에서 실패하는 대표 이유는?
A2. 비용과 안정성을 같이 보지 않기 때문입니다. 오프라인 정확도가 높아도 지연/메모리/운영 복잡도가 임계치를 넘으면 서비스 품질이 떨어집니다.

Q3. 이 논문을 도입할 때 baseline은 어떻게 잡나요?
A3. 가장 단순하고 강한 baseline 두 개를 동시에 잡아야 합니다. 하나는 품질 기준, 다른 하나는 비용 기준으로 두 축을 같이 비교해야 도입 판단이 가능합니다.

Q4. 이 접근의 실패 사례를 어떻게 감지하나요?
A4. 분포 이동, 길이 증가, 노이즈 입력, adversarial 질의에서 지표를 분리해 봐야 합니다. 특히 평균 성능이 아닌 tail failure를 별도로 추적해야 합니다.

Q5. 다음 단계 실험을 1개만 한다면?
A5. 단일 run이 아니라 multi-seed/다중 조건으로 변동성을 먼저 측정하겠습니다. 재현성 없는 개선은 실무에서 신뢰하기 어렵기 때문입니다.