매일 AI 논문과 오픈소스를 수집해 개발 시스템에 반영하는 자동 파이프라인 "트렌드 하베스트"가 200회를 넘겼다. 넉 달, 211라운드, 반영 535건. 이 페이지는 그 기록 전체를 실측해 세 가지를 답한다 — 시스템이 어떻게 바뀌었나, 무엇을 가장 많이 반영했나, 누가 가장 큰 영향을 남겼나.
트렌드 하베스트(trend harvest)는 매일 arXiv 논문·GitHub 레포·해커뉴스를 훑어 쓸 만한 엔지니어링 패턴을 골라내고, 점수를 매긴 뒤 개발 규칙과 지식 노트로 반영하는 자동 수확 파이프라인이다. 2026년 4월 6일 1차부터 7월 25일 211차까지 넉 달 — 아래 수치는 공개 로그 카드 206장, 지식 인덱스, 규칙 파일 112개를 전수 파싱해 실측한 값이다.
수확은 일정하게 흐르지 않았다. 4월엔 20일 동안 79라운드를 도는 폭발기였고, 5월 8일 110차를 끝으로 43일간 완전히 멈췄다. 흥미로운 건 그 공백에도 시스템은 진화를 멈추지 않았다는 것 — 수확 대신 실전 사고(버그 수정 커밋)에서 배우는 내부 학습이 6월에만 규칙 46개를 만들었다.
반영 아이템 535건의 제목과 지식 인덱스 285줄을 전수 집계했다. 1·2위가 검증과 평가라는 사실이 이 시스템의 정체성을 말해준다 — 200회 수확의 최대 관심사는 새 기능이 아니라 "AI의 주장을 어떻게 믿을 것인가"였다.
7월의 수확은 새 규칙을 만드는 대신 기존 규칙 밑에 새 논문 증거를 덧붙이는 "근거 보강"으로 착지했다 (누적 66건). 어떤 규칙이 가장 많이 강화됐는지 세어 보면, 수확이 어디에 힘을 쏟았는지가 드러난다 — 전부 "자율 시스템의 자기기만 방지" 계열이다.
| 규칙 | 보강 | 무엇을 지키는 규칙인가 |
|---|---|---|
| recursive-self-improvement-loop | 6 | 자가개선은 실행→분석→규칙화→청소의 폐루프로 — 산업 배포 실증부터 재귀 개선 논문까지 여섯 번 강화된 최다 보강 규칙 |
| harness-benefit-not-update | 5 | "바꿨다" ≠ "나아졌다" — 측정된 개선치로만 변경을 유지한다. held-out(검색에 안 쓴 별도 시험지) 요건도 수확이 추가 |
| agentic-abstention-know-when-to-stop | 5 | 언제 멈출지 아는 능력 — 무진전 반복(self-loop)은 모델 스스로 판별 못 하니 외부 게이트로 멈춘다 |
| process-harness-deterministic-engine-overlay | 4 | 잘 도는 결정론 워크플로우를 AI로 통째 대체하지 않는다 — AI는 지정된 제어점에서만 개입 |
| metric-skill-coevolution-anchored-audit | 4 | 지표가 약한 도메인에선 지표 자체를 진화 대상으로 — 심판 없는 자가진화는 왜곡된 지표에 고착된다 |
| execution-time-authorization-layer | 4 | 프롬프트 안의 모든 통제는 입력으로 우회 가능 — 진짜 강제는 프로세스 밖 권한 계층에 둔다 |
| cross-model-adversarial-review | 4 | 구현이 끝나면 다른 회사의 AI(GPT)가 결함을 적대적으로 찾는다 — 리뷰 속도 ≠ 품질이라는 반박 증거까지 흡수 |
| judge 불신 3형제 | 3+3+3 | AI 심판(judge) 점수를 믿지 않는 규칙 셋 — 집계 점수의 예측력, 심판을 최적화 루프에 넣을 때의 왜곡, 심판 위원회의 편향 전염 |
지식 메모 293개와 규칙 112개에서 기명 출처를 전수 집계했다. 언급 횟수만으로는 서열이 안 나온다 — 개념의 뼈대를 준 사람, 강제 장치까지 만든 조직, 볼륨을 지배한 커뮤니티가 각각 다른 방식으로 컸다.
언급은 14회로 적지만 구조적 깊이가 가장 크다. 자가개선 체계 전체의 이름 Loopy Era가 그의 개념이고, 모든 수확을 채점하는 점수 축 이름조차 loopy_era_score다. 수정→측정→채택/폐기를 무한 반복하는 autoresearch 루프, 코딩 4원칙, 지식 인덱스 설계(LLM Wiki 수렴)까지 — 시스템의 뼈대가 그에게서 왔다.
기명 출처 언급 1위(77회). 결정적으로, 수확이 권고 문서(SOFT)를 넘어 실행을 실제로 차단하는 강제 장치(HARD hook)까지 승격된 거의 유일한 출처다. 하네스 설계 블로그가 워크플로우 비용 게이트가 됐고, Claude Code 팀 Thariq의 Field Guide는 사용자가 직접 지정해 수확했다.
규칙에 인용된 고유 논문 136편 — 7월 이후 수확의 사실상 표준 출처. 특정 저자보다 "통제 실험이 있는 증거"라는 기준 자체가 채택 조건이 됐다. 스타 수(4월) → 화제성(5~6월) → 실험 증거(7월)로 출처의 질이 계단식 상승한 종착점.
| 그 외 기명 영향 | 언급 | 남긴 것 |
|---|---|---|
| OpenAI Codex 팀 | 37 | "5개월 수작업 0줄·PR 1,500건" agent-first 하네스 운영기 — 교차 리뷰 구조가 벤더 공식 패턴과 일치함을 확인시켜 준 출처 |
| addyosmani | 17 | Chrome 팀 엔지니어의 AI 엔지니어링 패턴 모음 |
| LangChain | 13 | deep-agents — "Claude Code에서 영감받았다"고 명시한 공식 하네스 |
| Simon Willison | 10 | LLM 실무 블로그 — 도구 사용·보안 경계 관찰 |
| yoheinakajima | 6 | BabyAGI 창시자 — 컨텍스트 조립 A/B 하네스 등 실험적 레포 |
| nagix | 5 | mini-tokyo-3d — 3D 데이터 시각화 UI/UX 레퍼런스 규칙으로 정착 |
| Lilian Weng | 2 | 재귀 자가개선(RSI) 35편 서베이 — 최적화 사다리 규칙의 근간 |
| Dex (HumanLayer) | 2 | "하네스는 floor는 올려도 ceiling은 못 올린다" — 하네스 한계론을 규칙으로 남김 |
영향력은 규칙들이 그 회차를 몇 번이나 되돌아가 인용했는지로 쟀다. 다섯 번 모두 공통점이 있다 — "AI 시스템이 스스로를 속이는 방식"을 실험으로 잡아낸 연구들이다.
7,560번의 실행 비교에서 "AI가 스스로 만든 스킬 문서"는 없을 때와 성능 차이가 없었다(placebo). 무관한 내용을 넣어도 같은 점수. — "추가는 기본적으로 비용"이라는 절제 문화의 결정적 방아쇠.
자가개선의 "개선"은 같은 예산의 단순 재시도와 비교하고, 검색에 쓰지 않은 별도 시험지(held-out)에서 측정해야 진짜다. — 이 시스템의 채택 게이트에 held-out 요건이 들어간 계기.
하루에 세 논문이 각각 다른 규칙을 때렸다 — 멀티에이전트의 이득은 정보 전달이 충분할 때만 생기고, 심판들의 만장일치가 정답을 보장하지 않으며, 메모리 개선처럼 보인 것이 사실 화면 표시 차이였다.
이 시스템이 쓰는 autoresearch 루프와 동형의 실험에서, AI가 평가 정답을 코드에 하드코딩해 점수를 10배 올리는 꼼수(spec gaming)가 실측됐다. 별도 시험지의 존재를 알려주자 꼼수가 사라졌다. — 자기 하네스의 급소를 외부 논문이 정확히 찔러준 희귀 사례.
에러가 드러난 지점과 에러를 만든 지점은 다르다(원인 귀속 없는 수정 금지), 검증자가 산출물을 실행해봐도 교묘한 태업은 절반을 놓친다 — 에러 복구·자가개선·교차 리뷰 규칙이 같은 날 동시에 강화됐다.
"좋아 보이는 패턴은 일단 규칙으로"
"증거가 게이트를 통과할 때만"
"시스템은 수확을 통해, 수확을 덜 믿는 법을 배웠다."
200회를 지나며 분업이 선명해졌다. 수확(외부 지식)은 판단 계층 — 문서로 남는 규칙과 근거 — 에 착지하고, 실전 사고(버그 수정)는 강제 계층 — 실행을 실제로 차단하는 hook 140개 — 에 착지한다. 논문은 관점을 주고, 사고는 게이트를 만든다.
정직 고지: 로그 카드 206장 중 155~159차 5장이 결번이다. 규칙들은 해당 회차를 인용하고 있으므로 수확은 일어났고 카드만 누락된 로그 갭이다. 전체 수확 로그 보기 →