모델이 바뀌어도
하네스는 남는가

가장 강한 AI 모델이 손에 들어오면, 보통은 밀려 있던 기능 개발에 그 힘을 쏟는다. 나는 반대로 했다. Fable 5를 받은 그날, 기능이 아니라 하네스(감시 장치) 자체를 손보는 데 투입했다. 이유는 세 가지다.

하네스는 두 층으로 되어 있다. 위층은 판단 — AI 모델(Fable 5)이 그때그때 내리는 결정이고, 전체의 1.6%밖에 안 된다. 아래층은 결정론 인프라 — 누가 시켜도 늘 같게 작동하도록 자동 스크립트(shell)·문서(markdown)·성공과 실패 신호(exit code)로 굳어진 규칙·검문소·측정이고, 98.4%를 차지한다. 7월 7일에 사라지는 것은 위층 판단의 실력 상한뿐이다. 아래층은 어떤 AI 모델이 오든 똑같이 막고 똑같이 측정한다. 그래서 전략은 하나다 — 남은 기간에 Fable의 판단을 최대한 아래층으로 옮겨 심는 것이다.

5일 내내 똑같은 순서를 반복했다. 먼저 Fable이 판단한다(무엇을 남기고 버릴지, 어떤 위반을 잡을지, 무엇을 잴지). 그 판단을 자동 스크립트와 성공·실패 신호로 굳힌다. 그다음 그 일을 만든 사람이 아니라 다른 검토자가 일부러 트집을 잡듯 다시 검증한다. 마지막으로 똑같은 스크립트로 다시 측정해서 전과 후의 차이(delta)를 숫자로 남긴다. "좋아진 것 같다" 같은 느낌은 이 과정을 통과하지 못한다.

이 5일이 남긴 것은 규칙 문서 다이어트만이 아니다. 실제 작동을 검증하는 3층짜리 장치가 새로 세워졌다. 각 층은 서로 다른 실패를 잡는다 — 과거에 진짜로 뚫렸던 위반(재생 검사), 작업 절차가 소리 없이 망가지는 것(자동 시험), 그리고 '완료'를 만들려고 기능을 몰래 지우는 버릇(기능삭제 감지)이다. 셋 다 성공·실패 신호로 판정되고, 주간 점수판이 매주 기록한다.

"좋아진 것 같다"는 없다. 첫날(D1)의 시작값과 마지막 날(D5)의 최종값을 똑같은 스크립트로 잰 숫자만 있다.

다른 회사 AI(Codex)의 트집 리뷰(1일차 4번)와, 그 일을 만들지 않은 독립 검토자의 매일 검증(2~5일차)이 잡아낸 것들이다. 한 모델의 맹점을 다른 모델로 막지 않았다면, 이 중 상당수가 "통과"로 넘어갔을 것이다 — 원칙 8(다른 모델로 교차 검증)의 증거다.

모델을 교체할 때 무엇을 '성공'으로 볼지, 미리 숫자 기준으로 못 박아 뒀다 — 같은 스크립트를 두 모델에서 돌렸을 때 토대(substrate) 지표의 차이가 0이면, "모델이 바뀌어도 상관없다"는 말은 주장이 아니라 측정 결과가 된다. 5일차 예행연습(같은 모델로 다시 측정)에서 8종 지표 전부 차이 0을 확인했고, 7월 8일 새 모델(Opus 4.8)에서 같은 스크립트가 다시 돌아간다.

지난 5일이 '판단을 자동 장치로 옮기는' 단거리 달리기였다면, 다음 1년은 그것을 분기마다 목표를 세우고 1년치로 쌓아 측정하며 이어 가는 장거리다. 고정된 계획이 아니라 — 분기마다 주간 점수판의 추세를 보고 다음 분기를 다시 정한다(무엇이 번거로운지가 다음 계획을 결정한다).