새 모델 Fable 5.1 이 자기 스킬과 에이전트 40개를
91분 만에 다시 읽고 고쳤다

이 패스(pass, 감지부터 결산까지 절차를 처음부터 끝까지 한 번 훑는 실행 단위)는 91분 걸렸다. 편집 전 상태를 고정해 둔 기준선 커밋 2873b3f45(05:29)에서 결산 커밋 f032fbc3b(07:00)까지다. 단계는 P0 감지부터 P6 결산까지 일곱 개다. 리드 세션(전체를 지휘하고 커밋을 맡는 메인 AI 세션)은 Fable 5.1 이다. 항목마다 같은 모델의 fresh 워커를 새로 띄워 편집시킨 뒤 리드가 커밋했다. 아래 숫자의 뜻은 이렇다. 가정 카드는 워커가 절차서의 문장 하나를 두고 "옛 모델 기준의 낡은 가정인가"를 판정한 기록 한 장이다. 결정론 이식은 사람이 읽고 판단하던 문장을 스크립트 판정으로 옮긴 건수다. 사전등록(prereg, 편집 전에 예상 결과를 먼저 적어 두고 끝난 뒤 그 예측에만 대조하는 기록)은 항목마다 워커가 남겼다. S3 는 검증 단계 가운데 결정론 재측정을 부르는 이름이다.

대상 40개는 사용 실적으로 골랐다. 2026-06-02 ~ 09-02 석 달치 세션 트랜스크립트(AI 와 나눈 대화와 도구 호출을 그대로 남긴 기록 파일)를 분류해 스킬·에이전트가 실제로 몇 번 쓰였는지 셌다. 층은 셋이다. 내가 직접 부르는 스킬, 그 스킬이 스폰(spawn, 일을 나눠 맡기려고 보조 AI 세션을 새로 띄우는 것)하는 에이전트, 그 에이전트가 매번 읽는 절차서까지 한 패스에 넣었다.

스폰 0 에이전트 41종은 지우지 않고 보관 폴더로 옮겼다(비파괴). 어려운 쪽은 삭제보다 전파였다. 내 설정은 이 머신의 라이브 폴더와 git 미러(백업 겸 다른 머신 배포용 저장소) 사이를 양방향으로 동기화하는데, 이 동기화가 additive(더하기만 하고 지우지는 않는 방식)다. 그래서 정본에서 지운 파일이 미러에 남았다가 다음 apply(미러에서 라이브로 가져오는 동기화 방향) 때 부활했다. 다른 머신에서는 애초에 지워지지도 않았다. 해결은 은퇴 목록을 선언한 정본(manifest, 은퇴한 에이전트 이름을 한 줄씩 적은 파일)을 두고, 양방향 스크립트가 복사할 때마다 그 목록을 읽게 하는 것이었다.

검증 단계 가운데 S3 는 결정론 재측정이다. 기준선 단계 P1 에서 고정한 결정론 지표(같은 입력이면 누가 언제 돌려도 같은 숫자가 나오는 지표)를 검증 단계 P5 에서 같은 스크립트로 다시 쟀다. 판정은 사람의 감상 대신 스크립트의 exit code(프로그램이 끝나면서 남기는 종료 번호, 0 이면 통과이고 2 면 차단)로 한다. 결과가 regressed(기준선보다 나빠짐)면 항목 커밋을 되돌린다. stable(기준선과 같음)일 때만 결산 단계 P6 로 간다. 통과한 상태에는 attestation(검증을 통과한 그 순간의 파일 상태를 지문처럼 남기는 증명 기록)을 찍어 둔다.

파일 총 바이트는 늘었다. 그러나 늘어난 곳은 사람의 판단을 스크립트로 옮겨 심은 항목이다. 줄어든 곳은 반복 서술, 규칙이 승격된 경위를 적은 서사, 특정 모델 이름을 박아 둔 문장(모델 리터럴)을 걷어낸 절차서다.

새 모델이 절차서를 읽으며 "이건 사람이 판단하라고 써 둔 문장인데 스크립트가 판정할 수 있다"고 본 곳을 이식했다. 강제 수준은 두 종류다. SOFT 는 사람이 읽고 지키는 약한 강제이고, HARD 는 스크립트가 exit code 로 막는 강한 강제다. 새 검사 표면은 최소로 만들었다. 이미 있는 강제자(hook·verify 스크립트, 훅은 도구 실행 전후에 자동으로 끼어드는 검사 스크립트이고 verify 는 스킬이 자기 산출물을 검사하는 스크립트)를 가리키는 한 줄 포인터로 대체한 경우가 더 많다.

검증 단계 S4 는 적대 반박이다. 비평 전용 에이전트 harsh-critic 에게 리드가 왜 그렇게 고쳤는지는 알려주지 않았다. diff(바뀐 부분만 모은 비교문)와 기준만 주고 "계약이 보존됐다는 주장을 반박하라"고 했다. 여기서 계약이란 절차서가 원래 지키기로 한 규칙을 말한다. 반박이 없었다면 "계약 보존"이 거짓인 채로 끝날 뻔한 결함이 둘 나왔다.

항목마다 워커가 편집 전에 "무엇이 줄고 무엇이 남는가"를 원장(ledger, 덧붙이기만 되고 고치거나 지울 수 없는 기록 장부)에 고정했다. 결과를 본 뒤 예측을 바꿀 수 없는 구조다. 그래서 refuted(예측이 틀렸다는 판정)가 10건 나왔다. 그것이 이 원장의 존재 의의다.

아래는 보고도 고치지 않은 것들이다. 이 패스의 범위 밖이라고 판정했기 때문이다. 각 항목은 다음 패스나 별도 결정의 입력으로 남는다.

이번 패스에서 도출한 전환 체크리스트다. 감지부터 결산까지 사람은 시작 명령만 내리면 되게 만들었다. 이번에 헛디딘 곳은 단계 안에 주의점으로 박아 두었다.

"하네스 개선의 병목은 모델이 아니라, 새 모델이 낡은 가정을 읽어낼 수 있게 절차를 열어 두는 것이다."