Fable 5가 7월 7일에 사라져도
하네스라는 감시 장치는 남는다

가장 강한 AI 모델이 손에 들어오면, 보통은 밀려 있던 기능 개발에 그 힘을 쏟는다. 나는 반대로 했다. Fable 5를 받은 그날, 기능 대신 하네스(감시 장치) 자체를 손보는 데 투입했다. 이유는 세 가지다.

하네스는 두 층으로 되어 있다. 위층은 판단이다. AI 모델(Fable 5)이 그때그때 내리는 결정이고, 전체의 1.6%밖에 안 된다. 아래층은 결정론 인프라다. 결정론이란 누가 언제 시켜도 늘 같은 답이 나온다는 뜻이다. 이 층은 자동 스크립트(shell)·문서(markdown)·성공과 실패 신호(exit code)로 굳어진 규칙·검문소·측정이고, 98.4%를 차지한다. 7월 7일에 사라지는 것은 위층 판단의 실력 상한뿐이다. 아래층은 어떤 AI 모델이 오든 똑같이 막고 똑같이 측정한다. 그래서 전략은 하나다. 남은 기간에 Fable의 판단을 최대한 아래층으로 옮겨 심는 것이다.

5일 내내 똑같은 순서를 반복했다. 먼저 Fable이 판단한다. 무엇을 남기고 버릴지, 어떤 위반을 잡을지, 무엇을 잴지 정하는 일이다. 그 판단을 자동 스크립트와 성공·실패 신호로 굳힌다. 그다음 그 일을 만든 사람 대신 다른 검토자가 일부러 트집을 잡듯 다시 검증한다. 마지막으로 똑같은 스크립트로 다시 측정해서 전과 후의 차이(delta)를 숫자로 남긴다. "좋아진 것 같다" 같은 느낌은 이 과정을 통과하지 못한다. 아래 다섯 장의 카드가 그 5일이다. 카드 머리의 꼬리표는 1일차부터 5일차를 뜻하고, 그 옆에는 그날 메운 빈틈 번호와 지킨 원칙 번호를 적었다.

이 5일이 남긴 것은 규칙 문서 다이어트만이 아니다. 실제 작동을 검증하는 3층짜리 장치가 새로 세워졌다. 각 층은 서로 다른 실패를 잡는다. 과거에 진짜로 뚫렸던 위반은 재생 검사가, 작업 절차가 소리 없이 망가지는 것은 자동 시험이, '완료'를 만들려고 기능을 몰래 지우는 버릇은 기능삭제 감지가 잡는다. 셋 다 성공·실패 신호로 판정되고, 주간 점수판이 매주 기록한다.

"좋아진 것 같다"는 없다. 첫날 새벽의 시작값과 마지막 날 저녁의 최종값을 똑같은 스크립트로 잰 숫자만 있다. 표의 첫 열은 측정 스크립트가 쓰는 지표 이름 그대로다. 첫 행은 과거 위반 표본 중 검문소가 막아낸 비율, 둘째 행은 그 표본 수(최소 개수 시험 포함), 셋째 행은 살아 있는 규칙 파일 수와 용량이다. 넷째 행은 등록만 되고 작동 기록이 없는 '죽은 검문소' 비율, 다섯째 행은 규칙 준수 검사에서 실제로 강제되는 규칙 수와 강제 장치가 비어 있는 빈틈 수다. 여섯째 행은 자동 시험 수, 일곱째 행은 주간 점수판, 마지막 행은 자동 실행 명령 묶음에 남은 가장 급한 등급의 빈틈 수다.

다른 회사 AI(Codex)의 트집 리뷰(1일차 4번)와, 그 일을 만들지 않은 독립 검토자의 매일 검증(2~5일차)이 잡아낸 것들이다. 한 모델의 맹점을 다른 모델로 막지 않았다면, 이 중 상당수가 "통과"로 넘어갔을 것이다. 원칙 8(다른 모델로 교차 검증)의 증거다.

모델을 교체할 때 무엇을 '성공'으로 볼지, 미리 숫자 기준으로 못 박아 뒀다. 같은 스크립트를 두 모델에서 돌렸을 때 토대(substrate, 모델이 바뀌어도 남는 아래층 인프라) 지표의 차이가 0이면, "모델이 바뀌어도 상관없다"는 말은 주장을 넘어 측정 결과가 된다. 5일차 예행연습(같은 모델로 다시 측정)에서 8종 지표 전부 차이 0을 확인했고, 7월 8일 새 모델(Opus 4.8)에서 같은 스크립트가 다시 돌아간다.

이 1년 계획의 이름은 위 소제목 라벨에 붙은 영문 약자로, '365일'이라는 뜻이다. 지난 5일이 '판단을 자동 장치로 옮기는' 단거리 달리기였다면, 다음 1년은 그것을 분기마다 목표를 세우고 1년치로 쌓아 측정하며 이어 가는 장거리다. 고정된 계획은 아니다. 분기마다 주간 점수판의 추세를 보고 다음 분기를 다시 정한다. 무엇이 번거로운지가 다음 계획을 결정한다. 아래 네 칸의 꼬리표는 분기(3개월 단위)를 뜻하고, 7월에 시작하니 3분기부터 센다.