Part 1 · Ch05 · Context Intelligence

측정 — CI 효과를 어떻게 입증하나

"정성적으로 좋아진다"는 안 통한다. 측정 가능한 지표 3가지.

🪙

작업당 token 수

agent가 답을 내기까지 쓰는 token 수. 줄어들수록 효율이 좋다.

🔁

첫 정답까지 turn 수

사람 correction 없이 정답에 도달하기까지 몇 turn. 줄어들수록 한 번에 잘 답함.

🎯

Eval 성능

정해진 question set에 대한 정확도. agent가 정말 맞게 답하는가.

+15~20%

Meta 내부 데이터 — eval performance 평균 향상. agent를 바꾼 게 아니라 같은 agent에 organizational context를 준 결과. 회사 도입 제안 시 이 세 지표로 before/after를 보이면 된다 — 한 달이면 충분히 나온다.