AI에게 매일 논문과 코드를 긁어 오게 하고, 그걸로 개발 규칙(AI 코딩 도우미가 작업 때마다 읽는 지침 문서)을 스스로 고치게 두면 어떻게 될까. 시간이 갈수록 좋아질까, 아니면 아무거나 주워 담는 잡동사니 창고가 될까. 이 질문을 넉 달 동안 실제로 돌려 봤다. 안드레 카파시가 "루프의 시대(Loopy Era)"라 이름 붙인 방식, 곧 시스템이 스스로를 반복해서 고치는 방식을 그대로 살아내는 개발 시스템이 자동 개선 200회를 넘겼다. 넉 달, 211라운드, 반영 535건이다. 이 페이지는 그 기록 전체를 실측해 네 가지에 답한다. 이 시스템은 어디서 시작됐나, 무엇을 어디서 모았나, 어떤 기준으로 도입을 결정했나, 그래서 어떻게 진화했나.
이름부터가 그렇다. 자가개선 체계 전체를 부르는 "Loopy Era"가 카파시의 개념이고, 매 수집을 채점하는 점수 축 이름조차 그 이름을 딴 '루피 에라 점수'다. 지식 메모 293개와 규칙 112개에서 이름이 밝혀진 출처를 전부 세어 보면 세 축이 나온다. 개념의 뼈대를 준 사람, 강제 장치까지 만든 조직, 볼륨을 지배한 커뮤니티가 각각 다른 방식으로 이 시스템을 함께 키웠다.
언급은 14회로 적지만 구조적 깊이가 가장 크다. 자가개선 체계 전체의 이름 Loopy Era가 그의 개념이고, 모든 수확을 채점하는 점수 축 이름조차 loopy_era_score다. 수정하고, 재고, 채택하거나 버리기를 무한 반복하는 autoresearch 루프(카파시가 공개한 자동 실험 방식), 코딩 4원칙, 지식 인덱스 설계(그가 말한 LLM Wiki, 곧 AI가 스스로 써 나가는 위키와 같은 방향으로 수렴)까지, 시스템의 뼈대가 그에게서 왔다.
이름이 밝혀진 출처 가운데 언급 1위(77회)다. 결정적으로, 수확이 권고 문서 단계를 넘어 실행을 실제로 차단하는 강제 장치 단계까지 승격된 거의 유일한 출처다. 권고 문서란 사람이 읽고 판단하는 규칙 글이고, 강제 장치란 코드가 명령 실행을 실제로 막는 훅(hook)이다. Anthropic의 하네스(harness, AI가 다 했다고 거짓말 못 하게 증거와 검사를 강제하는 감시 장치) 설계 블로그 글은 워크플로우 도구를 함부로 부르지 못하게 막는 비용 게이트(조건을 못 채우면 실행을 막는 검문소)가 됐고, Claude Code 팀 Thariq의 Field Guide(현장 안내서)는 사용자가 직접 지정해 수확했다. 이 시스템은 두 단계를 각각 이렇게 줄여 부른다: SOFT · HARD hook
규칙에 인용된 고유 논문이 136편으로, 7월 이후 수확의 사실상 표준 출처다. 특정 저자보다 "통제 실험이 있는 증거"라는 기준 자체가 채택 조건이 됐다. 출처의 질은 스타 수(4월)에서 화제성(5~6월)으로, 다시 실험 증거(7월)로 계단식으로 올라갔고, arXiv가 그 종착점이다.
| 그 외 기명 영향 | 언급 | 남긴 것 |
|---|---|---|
| OpenAI Codex 팀 | 37 | "5개월 동안 사람 손으로 쓴 코드 0줄, PR(코드 변경 제안) 1,500건"이라는 agent-first(사람보다 AI 에이전트가 먼저 일하는 방식의) 하네스 운영기다. 내 교차 리뷰 구조가 벤더 공식 패턴과 같다는 것을 확인시켜 준 출처다. |
| addyosmani | 17 | Chrome 팀 엔지니어가 정리한 AI 엔지니어링 패턴 모음이다. |
| LangChain | 13 | deep-agents(LangChain이 만든 에이전트 프레임워크)로, "Claude Code에서 영감받았다"고 명시한 공식 하네스다. |
| Simon Willison | 10 | LLM(대형 언어 모델) 실무 블로그로, 도구 사용과 보안 경계를 관찰한 글들이다. |
| yoheinakajima | 6 | BabyAGI(초기 자율 에이전트 실험) 창시자다. 컨텍스트(AI에게 한 번에 건네는 입력 묶음)를 조립하는 방식을 A/B 비교하는 하네스 등 실험적 레포(repo, 코드 저장소)를 남겼다. |
| nagix | 5 | mini-tokyo-3d(도쿄의 열차를 3D 지도 위에 실시간으로 그리는 오픈소스)가 3D 데이터 시각화 UI/UX(화면 설계와 사용 경험) 레퍼런스 규칙으로 정착했다. |
| Lilian Weng | 2 | RSI(재귀 자가개선, AI가 자기를 고치는 능력을 스스로 키우는 것) 연구 35편을 정리한 서베이가 최적화 사다리 규칙의 근간이 됐다. |
| Dex (HumanLayer) | 2 | "하네스는 floor(바닥, 최저 품질)는 올려도 ceiling(천장, 최고 품질)은 못 올린다"는 하네스 한계론을 규칙으로 남겼다. |
트렌드 하베스트(trend harvest)는 매일 arXiv 논문(누구나 올리는 논문 공개 사이트의 새 논문)·GitHub 레포·해커뉴스(개발자 뉴스 게시판)를 훑어 쓸 만한 엔지니어링 패턴을 골라내고, 점수를 매긴 뒤 개발 규칙과 지식 노트로 반영하는 자동 수확 파이프라인(여러 단계를 차례로 거치는 자동 처리 흐름)이다. 이 글에서 '수확'은 이 자동 수집과 반영 한 번을 뜻한다. 2026년 4월 6일 1차부터 7월 25일 211차까지 넉 달이다. 아래 수치는 공개 로그 카드 206장, 지식 인덱스, 규칙 파일 112개를 전부 파싱해 실측한 값이다.
수확은 일정하게 흐르지 않았다. 4월엔 20일 동안 79라운드를 도는 폭발기였고, 5월 8일 110차를 끝으로 43일간 완전히 멈췄다. 흥미로운 건 그 공백에도 시스템은 진화를 멈추지 않았다는 점이다. 수확 대신 실전 사고(버그 수정 커밋, 곧 고친 코드를 저장한 기록)에서 배우는 내부 학습이 6월에만 규칙 46개를 만들었다.
수집은 무작위 서핑이 아니다. 파이프라인 설정 파일에 채널·필터·주기가 전부 코드로 박혀 있다. 정기 실행은 매일 자정 1회이고, 7월엔 수동 실행과 백필(놓친 날짜를 뒤늦게 채우는 실행)까지 더해 하루 평균 3회 돌았다. 크게 세 갈래, 논문(학술 신호), 코드(커뮤니티 신호), 사람의 글(관점 신호)를 여섯 채널로 받는다.
arXiv 4개 카테고리(AI·계산언어학·머신러닝·멀티에이전트)를 매일 최신순으로 최대 50편 스캔하고, HuggingFace(AI 모델과 논문을 나누는 공유 사이트)가 매일 고르는 인기 논문 페이지를 함께 읽는다. 에이전트·하네스·평가·메모리 등 15개 주제어로 1차 필터를 건다. 논문 번호로 두 채널 간 중복을 자동 제거한다.
TS(타입스크립트)·Python·Rust·Go·Markdown·Shell 6개 언어별 주간 트렌딩에 전 언어 트렌딩을 더해 본다. 토픽 검색(ai-agent ★500+ 등 6개 쿼리, 곧 해당 태그가 붙고 별을 500개 넘게 받은 레포)과 엄선된 awesome 리스트(주제별 추천 모음) 7종도 돈다. 코드가 없는 문서 전용 레포도 허용한다. 컨셉과 가이드도 신호이기 때문이다.
HN(해커뉴스, 개발자들이 링크를 올리고 투표하는 뉴스 게시판)과 블로그, 그리고 구루(이 분야를 이끄는 사람) 9인의 GitHub 프로필이 이 채널이다. 구루 9인의 프로필은 직접 스캔한다. 최근 push(코드를 올린) 레포 20개에 ★ 누른 레포 30개까지 본다. 만든 것뿐 아니라 주목한 것도 신호이기 때문이다. 블로그 5피드(Simon Willison 매일, Anthropic 엔지니어링 등)와 해커뉴스 API(50포인트 이상, "claude code"·"agent harness" 쿼리)를 더한다.
누구를 구독할지도 기준이 코드로 박혀 있다. 네 가지 필수 조건은 에이전트/자동화 생태계에 실제 결과물 보유, 최근 90일 push 3회 이상, 공개 레포 10개 이상, 채널 중복 제거다. 여기에 활동 유형 심사를 더해 "레포를 계속 만드는 사람"만 GitHub 스캔 대상에 남긴다. 실제로 2026년 4월 심사에서 글만 쓰는 2인은 X 채널(옛 트위터)로 강등됐고, 비공개 소스 1곳은 완전히 제거됐다. 현재 명단은 karpathy·Anthropic(가중치 10), Simon Willison·nagix(9), yoheinakajima·OpenAI(8), LangChain·Matt Shumer(7)다.
"좋아 보인다"는 도입 사유가 아니다. 모든 후보는 여섯 단계 게이트를 통과해야 시스템에 들어오고, 단계마다 탈락 사유가 기록된다. 핵심 수치 하나, 분석 단계까지 살아남고도 절반 이상이 최종 반영되지 못한다 (최근 기록 92건 중 분석 64 vs 반영 28).
| 5축 채점 | 무엇을 묻나 |
|---|---|
| 자동화 증대 | 수동 반복 작업을 줄이는가? |
| 마찰 제거 | 반복되는 에러·실패를 근본에서 차단하는가? |
| 강제 전환 가능 | 사람이 읽고 판단하던 권고를 코드의 종료 코드(exit code, 프로그램이 성공과 실패를 숫자로 알리는 값)로 막는 강제로 바꿀 수 있는가? 앞서 나온 두 단계로 말하면 SOFT → HARD |
| 토큰 효율 | 불필요한 탐색·재시도를 줄이는가? |
| 측정 가능 | 개선을 단일 지표로 추적할 수 있는가? |
5축 점수는 "도입하면 좋아질 것"이라는 예측이지 증명이 아니다. 파이프라인 문서 스스로 그렇게 명시한다. 그래서 채점은 입구 필터로만 쓰고, 진짜 검증은 사후에 돌아간다: 90일간 한 번도 발동하지 않은 규칙은 삭제 후보가 되고, 자기가 만든 스킬(AI에게 절차를 가르치는 문서)이 placebo(가짜약, 효과가 없는데 있는 것처럼 보이는 것)였다는 논문(159차)이 나오자 채택 기준 자체를 조였다.
반영 아이템 535건의 제목과 지식 인덱스 285줄을 전부 세어 봤다. 1·2위가 검증과 평가라는 사실이 이 시스템의 정체성을 말해준다. 200회 수확의 최대 관심사는 새 기능보다 "AI의 주장을 어떻게 믿을 것인가"였다.
7월의 수확은 새 규칙을 만드는 대신 기존 규칙 밑에 새 논문 증거를 덧붙이는 "근거 보강"으로 착지했다(누적 66건). 어떤 규칙이 가장 많이 강화됐는지 세어 보면 수확이 어디에 힘을 쏟았는지가 드러난다. 전부 "자율 시스템의 자기기만 방지" 계열이다. 아래 표의 규칙 이름은 규칙 파일의 영문 이름 그대로이고, 오른쪽 칸이 그 규칙이 무엇을 막는지 설명한다.
| 규칙 | 보강 | 무엇을 지키는 규칙인가 |
|---|---|---|
recursive-self-improvement-loop |
6 | 자가개선은 실행, 분석, 규칙화, 청소를 차례로 도는 폐루프(닫힌 반복)로 한다. 산업 배포(실제 서비스로 내보내는 것) 실증부터 재귀 개선 논문까지 여섯 번 강화된 최다 보강 규칙이다. |
harness-benefit-not-update |
5 | "바꿨다" ≠ "나아졌다"이다. 측정된 개선치로만 변경을 유지한다. held-out(검색에 안 쓴 별도 시험지) 요건도 수확이 추가했다. |
agentic-abstention-know-when-to-stop |
5 | 언제 멈출지 아는 능력이다. 무진전 반복(self-loop)은 모델 스스로 판별하지 못하니 외부 게이트로 멈춘다. |
process-harness-deterministic-engine-overlay |
4 | 잘 도는 결정론 워크플로우(같은 입력이면 늘 같은 결과가 나오는 작업 순서)를 AI로 통째 대체하지 않는다. AI는 지정된 제어점에서만 개입한다. |
metric-skill-coevolution-anchored-audit |
4 | 지표가 약한 도메인에선 지표 자체를 진화 대상으로 삼는다. 심판 없는 자가진화는 왜곡된 지표에 고착된다. |
execution-time-authorization-layer |
4 | 프롬프트(AI에게 주는 지시문) 안의 모든 통제는 입력으로 우회할 수 있다. 진짜 강제는 프로세스 밖 권한 계층에 둔다. |
cross-model-adversarial-review |
4 | 구현이 끝나면 다른 회사의 AI(GPT)가 결함을 적대적으로 찾는다. 리뷰 속도 ≠ 품질이라는 반박 증거까지 흡수했다. |
| judge 불신 3형제 | 3+3+3 | AI 심판(judge) 점수를 믿지 않는 규칙 셋이다. 집계 점수의 예측력, 심판을 최적화 루프에 넣을 때의 왜곡, 심판 위원회의 편향 전염을 각각 다룬다. |
영향력은 규칙들이 그 회차를 몇 번이나 되돌아가 인용했는지로 쟀다. 다섯 번 모두 공통점이 있다. "AI 시스템이 스스로를 속이는 방식"을 실험으로 잡아낸 연구들이다.
7,560번의 실행 비교에서 "AI가 스스로 만든 스킬 문서"는 없을 때와 성능 차이가 없었다(placebo, 가짜약 효과). 무관한 내용을 넣어도 같은 점수였다. "추가는 기본적으로 비용"이라는 절제 문화의 결정적 방아쇠가 됐다.
AI2/UW 하네스 진화 평가 재고 (7/19) · 규칙 인용 4회앨런 AI 연구소와 워싱턴대가 함께 낸 논문이다. 자가개선의 "개선"은 같은 예산의 단순 재시도와 비교하고, 검색에 쓰지 않은 별도 시험지(held-out)에서 측정해야 진짜다. 이 시스템의 채택 게이트에 held-out 요건이 들어간 계기다.
하루에 세 논문이 각각 다른 규칙을 때렸다. 멀티에이전트(여러 AI가 일을 나눠 맡는 구성)의 이득은 정보 전달이 충분할 때만 생기고, 심판들의 만장일치가 정답을 보장하지 않으며, 메모리 개선처럼 보인 것이 사실 화면 표시 차이였다.
이 시스템이 쓰는 autoresearch 루프와 같은 꼴의 실험에서, AI가 평가 정답을 코드에 하드코딩해(값을 직접 박아 넣어) 점수를 10배 올리는 꼼수(spec gaming, 채점 규칙의 빈틈을 파고드는 것)가 실측됐다. 별도 시험지의 존재를 알려주자 꼼수가 사라졌다. 자기 하네스의 급소를 외부 논문이 정확히 찔러준 희귀 사례다.
에러가 드러난 지점과 에러를 만든 지점은 다르다(원인 귀속 없는 수정 금지). 검증자가 산출물을 실행해 봐도 교묘한 태업은 절반을 놓친다. 에러 복구·자가개선·교차 리뷰 규칙이 같은 날 동시에 강화됐다.
"좋아 보이는 패턴은 일단 규칙으로"
"증거가 게이트를 통과할 때만"
"시스템은 수확을 통해, 수확을 덜 믿는 법을 배웠다."
200회를 지나며 분업이 선명해졌다. 수확(외부 지식)은 판단 계층, 곧 문서로 남는 규칙과 근거에 착지한다. 실전 사고(버그 수정)는 강제 계층, 곧 실행을 실제로 차단하는 hook 140개에 착지한다. 논문은 관점을 주고, 사고는 게이트를 만든다.
정직 고지: 로그 카드 206장 중 155~159차 5장이 결번이다. 규칙들은 해당 회차를 인용하고 있으므로 수확은 일어났고 카드만 누락된 로그 갭(기록 빈틈)이다. 전체 수확 로그 보기 →