Pillar I · 어텐션 분포

Probabilistic Confusion이란?

모델은 다음 토큰을 고를 때 context의 어느 부분에 attention을 둘지 결정한다 — 후보가 많아지면 신호와 노이즈를 구분 못한다
어텐션 분포 — 신호 vs 노이즈
✓ 깨끗한 Context
관련 정보만 큐레이션됨
signal signal signal signal · signal signal
신호 비중 ~90% · attention이 강한 신호로 집중
✕ 노이즈 낀 Context
무관한 정보가 70% 차 있음
noise noise signal noise noise signal noise noise noise signal
신호 비중 ~30% · attention 후보가 너무 많음
→ 같은 진입점에서 같은 결정으로 수렴
→ 같은 질문에 매번 다른 답 (어제는 A 디렉토리, 오늘은 B)
"AI는 비결정적이다"의 진짜 원인 — 모델이 변덕스러운 게 아니라, context가 노이즈로 가득 차서 확률적 혼란이 일어난 것