관측 기반 검증

Pass/Fail을 넘어 — Log-Based Validation

"High-performance agentic loops go beyond simple pass/fail tests." — 1차 layer 위에 2차 layer를 쌓는다
레이어 01
✅
Pass / Fail
테스트 통과 / 실패 신호 — 외부 결정론의 기본 layer
unit / integration test, screenshot 비교, 스크립트 exit code. crash 안 났다는 사실 확인 — 가장 약한 신호.
pytest exit 0 200 OK screenshot match
레이어 02
🔍
내부
상태
내부 system state가 의도한 결과와 일치하는지 검증
데이터 무결성 · 비정상 패턴 · 외부 시스템 reconciliation까지. 200 OK인데 금액이 100배인지, retry 폭주가 로그에 가득한지 — pass/fail로 안 잡히는 영역.
LogQL query metric drift trace anomaly DB invariants
"verifying that the internal system state matches the intended outcome rather than just confirming the absence of a crash."
내부 시스템 상태가 의도된 결과와 일치하는지 검증 — 단순히 crash가 없다는 사실 확인을 넘어서.