관측 기반 검증

Pass/Fail을 넘어 — Log-Based Validation

"고성능 에이전트 루프는 단순 pass/fail 테스트를 넘어선다." — 1차 레이어 위에 2차 레이어를 쌓는다
레이어 01
✅
Pass / Fail
테스트 통과 / 실패 신호 — 외부 결정론의 기본 레이어
유닛 / 통합 테스트, 스크린샷 비교, 스크립트 exit code. 크래시 안 났다는 사실 확인 — 가장 약한 신호.
pytest exit 0 200 OK screenshot match
레이어 02
🔍
내부
상태
내부 시스템 상태가 의도한 결과와 일치하는지 검증
데이터 무결성 · 비정상 패턴 · 외부 시스템 정합성 확인까지. 200 OK인데 금액이 100배인지, 재시도 폭주가 로그에 가득한지 — pass/fail로 안 잡히는 영역.
LogQL query metric drift trace anomaly DB invariants
"internal system state matches the intended outcome"
내부 시스템 상태가 의도된 결과와 일치하는지 검증 — 단순히 크래시가 없다는 사실 확인을 넘어서.