1년치 계획 60단계,
한 번에 몰아서 완주

이번 한 번의 작업(세션)이 이 하네스—AI가 '다 했다'고 거짓말 못 하도록 증거를 강제하는 자동화 장치—에 남긴 변화를 전부 모았다. 왼쪽이 실행 전, 오른쪽이 실행 후이고, 각 행의 근거는 docs/d365/폴더의 결과 리포트·증거 파일·스크립트로 되짚을 수 있다. '좋아졌다'는 느낌 대신 항목별 전 → 후 수치로 적었다. 측정하지 못한 값은 억지로 채우지 않고 NA(값 없음)로 남긴다 — 실패를 숨기지 않는다는 원칙(fail-loud)이다.

60단계는 4개 분기로 나뉘고, 각 분기의 할 일은 앞 분기에서 실제로 부딪힌 마찰(문제)이 결정했다. 분기와 분기 사이에는 관문(게이트)이 있어서, 왜 이렇게 다시 계획했는지에 대한 기록(revision_log)을 반드시 요구한다. 그 근거가 없으면 다음 분기의 '임시(provisional)' 계획이 확정으로 풀리지 않는다. 관문 4개를 전부 통과했다. 아래는 분기마다 실제로 한 일이다.

1일차에 세운 작업 방식(판단 → 규칙으로 굳히기 → 다른 모델의 트집 검증 → 다시 측정)은 5일짜리 짧은 집중 작업(스프린트)이었다. 2일차는 같은 사이클을 60단계로 늘렸는데, 핵심은 '많이 했다'가 아니라 상태가 계속 살아남는다는 점이다. 지금까지의 진행 상태를 파일(state.json)에 정본으로 저장해 두어, 실행기가 언제 다시 호출돼도 멈췄던 지점부터 이어간다. 계획이 '읽고 마는 문서'가 아니라 '언제든 다시 시작할 수 있는 상태 기계'였기에, 1년치가 한 번의 세션 안에 들어갔다.

'60/60 완주'가 그냥 말뿐이 아닌 이유 — 각 단계의 '완료'는 세 겹의 강제 검사를 통과해야만 인정된다. 별도로 띄운 독립 검증 AI(subagent)가 프로그램 종료 신호(exit code)로 재현까지 확인했다: ① 순서를 건너뛰면 실패(exit 2), ② 검사(verify)가 실패하면 완료 차단(exit 2), ③ 검사 명령은 계획 파일(plan.json)이 저장소의 최신 상태(git HEAD)와 일치할 때만 실행된다 — 즉 검사를 몰래 바꾸려면 커밋을 해야 하고, 그 커밋은 적대리뷰를 거쳐야 반영된다.

모든 코드 반영(push)은 다른 AI 모델 Codex가 독립적으로 트집 잡는 적대리뷰를 통과해야 저장소에 올라간다. 이번 세션에서 이 리뷰는 131회 돌았다. 초반에는 실제 결함(저장소 밖 파일을 건드리는 경로 탈출·프로그램 멈춤·색인 오염 같은 위험)을 잡아냈고, 후반에는 단순 문자열 검색(grep)만으로는 '뜻'까지 검증할 수 없는 한계에 다다랐다. '좋아진 것 같다'가 아니라 재현 → 근본 원인 수정 → 다시 재현해 확인의 순서로만 통과시킨 기록이다.

Q1의 세 번째 마일스톤이 만든 D365 Scoreboard은 주간 지표를 쌓아 둔 표 파일 weekly-scoreboard.tsv(8개 시점, 덧붙이기만 함)을 바탕으로 자동으로 그려지는 공개 지표판이다. 데이터가 7일 넘게 갱신 안 되면 스스로 '낡음(STALE)' 경고를 띄우고(실패를 숨기지 않음), 측정 못 한 값은 가짜로 채우지 않고 NA로 둔다. 아래는 가장 최근 스냅샷(2026-07-03T03:34:19Z) 기준이다 — v2가 실행되면 그 진행도 이 지표판이 똑같이 측정한다.

Q2의 두 번째 마일스톤이 만든 D365 1년 결산 리포트는 D365 실행 구간 전체를 같은 지표판 도구로 다시 측정한 변화량이다 — '좋아진 것 같다'가 아니라 숫자로 보여준다. 게다가 그 숫자가 무엇을 못 말하는지('숫자가 말해주지 못하는 것')까지 같은 페이지에 정직하게 남겼다.

'되먹임 고리(폐루프)'가 진짜 돌았다는 증거는 말이 아니라 링크가 실제 파일로 연결되는가다. v2 계획의 각 주제는 v1이 실제로 부딪힌 마찰과, 그 마찰이 적힌 파일을 가리킨다 — 독립 검증이 그 링크가 진짜 증거 파일로 이어짐을 확인했다. 직감만으로 넣은 주제는 0건. 근거가 한 번뿐인 항목(T4)은 정식 채택하지 않고 보류로 남겼다(나중에 같은 논쟁을 다시 벌이지 않도록).

채택한 주제 4개는 v2의 마일스톤 3개(15일)로 묶었다. 초안은 이미 적대리뷰를 통과해, 파일만 있으면 통과되던 test -s 방식 대신 우회 불가한 검사(HARD verify)로 잠갔다. 실행되면 그 진행은 위 D365 Scoreboard가 자동으로 측정한다.

지금까지 — v1은 60단계 전부 완주(60/60), v2는 초안 완성 · 적대리뷰 통과까지 왔다. v2는 아직 실행 전이다 — 되먹임 고리의 다음 한 바퀴가 곧 v2 실행이다. 도달한 것과 남은 것을 부풀리지 않고 정직하게 나눈다.