System Tradeoff Design 이해

난이도: 중급

태그: system,tradeoff,latency,cost,quality

실무 의사결정은 "최고 성능"을 고르는 문제가 아니라, latency, cost, memory, quality를 동시에 맞추는 문제다.

같은 모델도 환경에 따라 정답이 달라진다. 챗봇 서비스, 배치 처리, 모바일 추론은 제약이 다르기 때문이다. 그래서 시스템 설계에서는 단일 metric보다 tradeoff 프레임이 중요하다.

이 문서는 모델 자체보다 의사결정 프레임을 이해하는 데 목적이 있다. 즉 "무엇이 더 좋으냐"보다 "어떤 제약에서 무엇을 포기하고 무엇을 얻는가"를 설명할 수 있어야 한다.

1. 자주 보는 축

2. 왜 어려운가

한 축을 올리면 다른 축이 나빠지는 경우가 많다. 예를 들어 더 큰 모델은 품질은 좋아져도 latency와 비용이 커질 수 있다.

그래서 시스템 설계는 순수 연구보다도 우선순위 정리가 중요하다. 대기시간이 핵심이면 작은 모델과 aggressive caching이 맞고, 배치 분석이면 느리더라도 더 큰 모델이 맞을 수 있다.

3. 면접 포인트

면접에서는 "왜 그 모델을 골랐는가"보다 "어떤 제약 때문에 그 모델과 설정을 골랐는가"를 설명하는 것이 더 중요하다. tradeoff를 말할 수 있어야 실전 감각이 있다고 본다.

4. 체크리스트