Pillar I · 확률적 혼란
Dump Everything은 왜 실패하는가
LLM은 확률 엔진 — context에 데이터를 더 던질수록 노이즈는 신호보다 빠르게 증가한다
❌ 안일한 방식
"200k window가 있으니 — 다 넣어도 되네"
- 관련 토큰의 신호는 그대로
- 무관한 토큰의 노이즈는 비례 이상으로 증가
- 모델의 출력 분산(variance)가 폭발
- 같은 질문에 매번 다른 답 — probabilistic confusion
vs
⭐ 전략적 방식
"정확히 필요한 만큼의 데이터만"
- Fresh — 오늘 결정된 사실. 폐기된 결정은 뺀다
- Condensed — 5줄로 표현 가능한 걸 50줄로 두지 않는다
- 신호 토큰의 비중이 압도적으로 높아짐
- 같은 진입점 → 같은 트리 → 결정론적 수렴
거대한 context window가 큐레이션을 불필요하게 만든다는 통념 — 이것은 전략적 오류(strategic fallacy)다
