00. [기본기] 선형대수+확률
x_i ∈ R^d, P(x|y), softmax 등 BERT 전 필수 베이스
AI Research Portfolio
논문 핵심 개념과 실험 결과를 AI 분야별로 정리한 포스트 모음
LLM
01-1. [기본기] 퍼셉트론과 활성함수
a = sigma(Wx + b) 관점에서 선형 변환과 비선형 변환의 역할 정리
01-2. [기본기] 손실함수 기초 (MSE vs CE)
MSE와 Cross-Entropy의 차이, 로그우도 연결, 회귀/분류별 선택 기준 정리
01-5. [기본기] 손실함수 확장 (KL vs CE)
Cross-Entropy와 KL Divergence의 관계, one-hot에서의 단순화와 로그우도 연결
01-7. [기본기] 정규화와 학습 안정화
표준화, LayerNorm, gradient vanishing/explosion, clipping으로 학습 안정화 핵심 정리
01-8. [기본기] 텐서 Shape 실전
Batch/Sequence/Hidden 차원 추적, broadcasting 규칙, Transformer 텐서 흐름 정리
TS-1. [기본기] 초기화 (Xavier vs He)
신호 분산 안정화 관점에서 Xavier/He 초기화 원리와 선택 기준 정리
TS-2. [기본기] 활성함수 (ReLU/GELU/SwiGLU)
ReLU, GELU, SwiGLU의 구조/장단점과 Transformer-LLM 맥락에서의 선택 기준 정리
DT-1. [분산학습] Data Parallel (DDP)
모델 replica 동기화, gradient all-reduce, 통신 비용까지 DDP 핵심 흐름 정리
DT-2. [분산학습] Model/Tensor Parallel
모델/텐서 분할, column-row parallel, 통신 병목까지 핵심 구조 정리
DT-3. [분산학습] Pipeline Parallel
레이어 분할, micro-batch 스케줄, bubble overhead와 효율 식까지 핵심 정리
DT-4. [분산학습] ZeRO / FSDP
state sharding 단계와 FSDP의 all-gather/reduce-scatter 흐름까지 핵심 정리
DT-5. [분산학습] Gradient Accumulation
gradient 누적, effective batch size, 평균/합 업데이트 차이까지 핵심 정리
TK-1. [토크나이징] BPE
subword 토큰화의 merge 규칙과 OOV 완화 원리를 입문 관점에서 정리
TK-2. [토크나이징] WordPiece
likelihood 기반 merge score와 BPE 대비 차이를 입문 관점에서 정리
TK-3. [토크나이징] SentencePiece
공백 포함 문자열 학습과 Unigram LM 기반 분해 전략을 입문 관점에서 정리
TK-4. [토크나이징] Token Length Tradeoff
context window, O(n^2) attention 비용, 성능 tradeoff와 실전 대응 전략 정리
3-1. [임베딩] Word2Vec (Distributed Representation)
one-hot 한계를 넘는 분산 표현, skip-gram, negative sampling 핵심 정리
3-2. [트랜스포머] Self-Attention (QKV)
Q/K/V 생성부터 scaled dot-product, O(n^2) 복잡도까지 핵심 연산 정리
3-3. [트랜스포머] Positional Encoding / 병렬화
순서 정보 주입(PE)과 Transformer 병렬화 장점/주의점을 중급 관점에서 정리
4-1. [BERT] Encoder + MLM Pretraining
양방향 encoder, MLM/NSP 사전학습 목적, 입력 임베딩 구성까지 핵심 정리
4-2. [사전학습] RoBERTa / T5 Objective
RoBERTa 레시피 개선과 T5 span corruption objective 차이를 중급 관점에서 정리
4-3. [GPT-3] In-Context Learning 메커니즘
fine-tuning 없이 prompt 예시로 task를 수행하는 ICL 작동 원리를 중상 난이도로 정리
4-4. [스케일링] Scaling Laws / Chinchilla
같은 compute 예산에서 모델/데이터 균형을 맞추는 compute-optimal scaling 핵심 정리
IO-1. [서빙] LLM Inference Tradeoff
prefill/decode, latency-throughput-memory 상충 관계와 실전 최적화 포인트 정리
IO-2. [서빙] KV Cache 디코딩 최적화
naive 디코딩 대비 KV 재사용으로 계산량을 줄이는 핵심 원리와 메모리 tradeoff 정리
IO-3. [서빙] Speculative Decoding
draft/verify 이중 모델로 디코딩을 가속하면서 target 분포를 유지하는 핵심 구조 정리
IO-4. [서빙] FlashAttention
attention의 memory IO 병목을 tile/online softmax로 줄여 가속하는 핵심 원리 정리
IO-5. [서빙] vLLM Paged Attention
KV cache paging과 continuous batching으로 메모리 단편화를 줄이고 throughput을 높이는 구조 정리
5-1. [정렬] InstructGPT / Constitutional AI / DPO
RLHF, self-critique, DPO의 차이와 alignment 목표를 중상 난이도로 정리
5-2. [추론] CoT / Self-Consistency / DeepSeek-R1
prompting, sampling, RL 기반 reasoning 강화 흐름을 상 난이도로 정리
5-3. [효율화] MoE: Switch / Mixtral
dense 대비 sparse expert routing으로 compute를 줄이는 MoE 구조와 서빙 tradeoff 정리
6-1. [RAG] Retrieval → Rerank → Generation
외부 지식 결합을 위한 RAG 3단계 파이프라인과 검색/재정렬 역할을 중급 관점에서 정리
6-2. [RAG] Embedding Models (SBERT/e5/BGE)
contrastive learning 기반 임베딩 학습과 bi-encoder/cross-encoder 차이를 중급 관점에서 정리
6-3. [Agent] ReAct / Toolformer / Self-RAG
thought-action-observation 루프와 tool/retrieval 의사결정 구조를 중상 난이도로 정리
6-4. [실험] Baseline 대비 결과 해석
정량/정성 평가, 오류 분석, ablation, 유의성 검정으로 RAG 실험을 해석하는 절차 정리
6.5-1. [MLOps] ML 파이프라인 (데이터 → 학습 → 배포)
데이터 검증부터 학습/평가/배포까지 ML 파이프라인의 단계와 운영 자동화 포인트를 중급 관점에서 정리
6.5-2. [MLOps] Experiment Tracking (MLflow/W&B/TensorBoard)
실험 재현성과 비교를 위해 파라미터/메트릭/아티팩트를 추적하는 워크플로우를 중급 관점에서 정리
6.5-3. [MLOps] Model Registry (Champion/Challenger)
모델 버전 관리, lifecycle(stage), champion/challenger 비교와 rollback 전략을 중급 관점에서 정리
6.5-4. [MLOps] Model Serving (Online vs Batch)
online serving과 batch inference의 차이, latency 구성, Triton/TorchServe/FastAPI 서빙 구조를 중급 관점에서 정리
6.5-5. [MLOps] Monitoring (Data/Concept Drift)
배포 후 data drift, concept drift, prediction distribution 변화를 감지하고 대응하는 모니터링 체계를 중급 관점에서 정리
6.5-6. [MLOps] Feature Store (Training-Serving Skew)
training-serving skew 원인과 offline/online feature store, point-in-time correctness 해결 전략을 중급 관점에서 정리
6.5-7. [LLMOps] Prompt Versioning / RAG Eval / Guardrails
LLM 운영에서 prompt 버전 관리, RAG 평가, guardrails 설계를 통합하는 LLMOps 핵심 흐름을 중상 난이도로 정리
7-1. [Vision] ViT (Patch Embedding)
이미지를 patch token으로 변환해 Transformer encoder로 처리하는 ViT 구조와 CNN 대비 차이를 중급 관점에서 정리
7-2. [Vision] YOLO (One-Stage Tradeoff)
grid 기반 one-stage detection, confidence/IoU/NMS와 속도-정확도 tradeoff를 중급 관점에서 정리
7-3. [Vision] DETR (Set Prediction)
object query와 Hungarian matching 기반 set prediction으로 detection을 end-to-end 학습하는 DETR을 중급 관점에서 정리
7-4. [Vision] CLIP (Contrastive Zero-Shot)
이미지-텍스트 dual encoder와 contrastive learning으로 zero-shot 전이를 가능하게 하는 CLIP 구조를 중급 관점에서 정리
8-1. [Generative] GAN (Min-Max Learning)
generator-discriminator의 adversarial min-max 학습 구조와 GAN 핵심 손실, 학습 불안정 이슈를 중급 관점에서 정리
8-2. [Generative] StyleGAN (Style Control)
Z/W latent 분리, mapping network, AdaIN 기반 레이어별 스타일 주입으로 이미지 속성을 제어하는 StyleGAN을 중급 관점에서 정리
8-3. [Generative] DDPM (Diffusion Denoising)
forward noise와 reverse denoising으로 이미지를 생성하는 DDPM의 확률적 구조와 학습 목표를 중급 관점에서 정리
8-4. [Generative] Score-Based Models
score function ∇log p(x) 학습, annealed score matching, Langevin dynamics 기반 생성 과정을 중상 난이도로 정리
8-5. [Generative] Diffusion Sampling (DDIM)
DDPM의 느린 샘플링을 DDIM의 deterministic 경로로 가속하는 원리와 차이를 중상 난이도로 정리
02-1. [중급] Optimizer 비교 (SGD/Momentum/AdamW)
SGD, Momentum, AdamW의 업데이트 차이와 사용 맥락, 일반화 특성 비교
02-3. [중급] 정규화 (Weight Decay & Dropout)
Weight decay와 dropout의 원리, 적용 위치, 일반화 효과와 실전 주의점 정리
00-1. [기본기] LLM 수식/기호/임베딩
x_i ∈ R^d부터 Attention 수식까지, 논문 읽기 전 필수 기반
00-2. [Word2Vec] 개념 설명
BERT 이전 정적 임베딩의 핵심과 한계
보조. [Attention Is All You Need] 개념 설명
Transformer 아키텍처의 출발점 (심화판)
01. [BERT] 개념 설명
양방향 인코더 사전학습의 핵심 (심화판)
02. [RoBERTa] 개념 설명
BERT 훈련 레시피 최적화 (심화판)
03. [T5] 개념 설명
모든 NLP를 text-to-text로 통합 (심화판)
04. [GPT-3] 개념 설명
대규모 in-context learning 패러다임 (심화판)
05. [Scaling Laws] 개념 설명
모델/데이터/컴퓨트 스케일 관계 (심화판)
06. [Chinchilla] 개념 설명
모델 크기보다 데이터 토큰 최적화 (심화판)
07. [InstructGPT] 개념 설명
RLHF 기반 instruction following (심화판)
08. [Constitutional AI] 개념 설명
AI 피드백 기반 정렬 절차 (심화판)
09. [DPO] 개념 설명
보상모델 없이 선호학습 단순화 (심화판)
10. [Switch Transformers] 개념 설명
MoE로 파라미터 확장 효율화 (심화판)
11. [Mixtral] 개념 설명
오픈 MoE 실전 아키텍처 (심화판)
12. [RAG] 개념 설명
검색+생성 결합 파이프라인 (심화판)
13. [ReAct] 개념 설명
추론과 행동(tool use) 결합 (심화판)
14. [Toolformer] 개념 설명
모델이 도구 호출 타이밍 학습 (심화판)
15. [Self-RAG] 개념 설명
생성 중 자기-검색/자기-검증 (심화판)
16. [Chain-of-Thought] 개념 설명
중간 추론 단계 명시 기법 (심화판)
17. [Self-Consistency] 개념 설명
다중 추론 경로 투표로 정확도 향상 (심화판)
18. [DeepSeek-R1] 개념 설명
강화학습 기반 추론 강화 최신 흐름 (심화판)
TR-1. [Transformer] FFN 구조
Transformer 블록의 FFN 역할, 차원 확장-축소, 활성함수 선택 포인트 정리
TR-2. [Transformer] Pretraining Objective
MLM/CLM/Span corruption 목적함수 차이와 모델별 트레이드오프 비교 정리
RAG-1. [Retrieval] Vector Search
벡터 검색의 ANN 원리, FAISS/HNSW 인덱스 전략, 속도-정확도 tradeoff 정리
EVAL-1. [평가] LLM Evaluation Metrics
정확성/근거성/유용성 중심의 LLM 평가 지표와 RAG 평가 프레임워크 정리
실험 A. [BERT MLM] 실험 리포트
BERT 아이디어 기반 toy MLM 실험과 한계 분석
실험 B. [RAG Retrieval] 실험 리포트 (FAISS)
SQuAD 기반 TF-IDF vs 임베딩+FAISS 검색 실험
Vision
19. [YOLO] 개념 설명
실시간 객체탐지의 대표 모델 흐름 정리
20. [DETR] 개념 설명
Transformer 기반 객체탐지 재정의
21. [CLIP] 개념 설명
이미지-텍스트 대조학습의 핵심 아이디어
General
25. [NTK] Neural Tangent Kernel 개념 설명
큰 신경망 학습을 kernel 관점에서 해석하는 NTK 핵심 정리
00-2. [기본기] 확률/통계 기초
조건부확률, 기댓값, 분산, 로그우도, Cross-Entropy를 딥러닝 관점으로 연결
00-4. [기본기] 베이즈 관점 확률/통계
베이즈 정리, 우도/사후확률, 로그우도, 기대값/분산의 학습 해석
00-5. [기본기] 수치 안정성 기초
overflow/underflow, 안정한 softmax, log-sum-exp를 실전 계산 관점으로 정리
M-1. [수학] Entropy
정보량과 엔트로피, Cross-Entropy/KL 연결을 딥러닝 관점으로 정리
M-2. [수학] Expectation / Variance
기댓값/분산의 정의와 학습 안정성, 추정 오차 해석까지 핵심 정리
DL-1. [기초] CNN Basics
합성곱/풀링/채널 개념과 CNN의 표현 학습 원리를 입문-중급 관점으로 정리
DL-2. [기초] BatchNorm
BatchNorm 동작식, 학습/추론 모드 차이와 안정화 효과를 핵심만 정리
OPT-1. [최적화] Hessian / Curvature
곡률(Hessian) 관점에서 수렴 속도, 학습률 안정성, sharp/flat minima를 정리
Generative
22. [GAN] 개념 설명
생성자-판별자 경쟁학습의 기본 프레임
23. [StyleGAN] 개념 설명
고품질 이미지 생성과 스타일 제어
24. [DDPM] 개념 설명
확산모델의 기본 생성 메커니즘
REP-1. [표현학습] Autoencoder
인코더-디코더 기반 압축 표현 학습과 reconstruction objective 핵심 정리
REP-2. [표현학습] VAE
ELBO 분해, KL 정규화, reparameterization trick까지 VAE 핵심 원리 정리
Drug Discovery AI Track
9단계. 바이오 기초
분자/단백질/ADMET 기초를 통해 약물 타깃과 생체 상호작용의 기본을 이해
10단계. 분자 표현과 GNN
SMILES/Graph/3D 표현과 GCN/GAT 기반 분자 property prediction 핵심 정리
11단계. 단백질 모델링
AlphaFold2/ESM 계열로 단백질 구조/시퀀스 기반 예측 흐름을 이해
12단계. 단백질-리간드 상호작용
Docking/Virtual Screening으로 binding score 기반 후보 탐색 구조를 정리
13단계. 분자 생성 모델
VAE/Diffusion/Flow 기반 de novo 분자 생성 전략과 차이를 비교
14~15단계. 파이프라인/실험환경
target→hit→lead→임상 흐름과 ChEMBL/PDB/RDKit 기반 실험 환경을 연결