EVOLVING WITH KARPATHY · 200TH RUN

200번의 자동 개선,
카파시와 함께 진화하는 시스템

넉 달, 211라운드, 반영 535건 — 무엇을 모았고, 어떤 기준으로 걸렀고, 그래서 어떻게 달라졌나

HUE

ACT 01 / 05 · 기원

기원

Where It Came From

이 시스템은 카파시에서 시작됐다. 개념의 뼈대를 준 사람, 강제 장치까지 만든 조직, 볼륨을 지배한 커뮤니티 — 세 축이 각각 다른 방식으로 이 시스템을 키웠다.

축 1 · 이름과 뼈대

언급은 가장 적고, 남긴 것은 가장 깊다

Andrej Karpathy

시스템의 이름이 그의 개념이다

자가개선 체계 전체를 부르는 Loopy Era가 그의 말이고, 모든 수확을 채점하는 점수 축 이름조차 loopy_era_score다. 수정→측정→채택/폐기를 무한 반복하는 autoresearch 루프, 코딩 4원칙, 지식 인덱스 설계까지 뼈대가 그에게서 왔다.

언급

구조 이식

왜 깊이가 다른가

인용은 문장을 남기고,
구조는 시스템을 남긴다

다른 출처는 규칙 안에 근거로 들어간다. 카파시는 규칙을 담는 그릇을 줬다 — 무엇을 점수라 부를지, 개선을 어떤 루프로 돌릴지, 지식을 어떻게 인덱싱할지.

Loopy Era — 체계 전체의 이름
autoresearch — 개선 루프의 형태
코딩 4원칙 — 판단의 기준선
LLM Wiki — 지식 인덱스 설계

축 2 · 문서를 넘어 강제까지

유일하게 실행을 막는 장치까지 올라간 출처

Anthropic 공식

기명 출처 언급 1위

하네스 설계 블로그, Claude Code 팀의 현장 가이드 — 사용자가 직접 지정해 수확한 건도 있다.

언급

권고 → 강제

문서가 게이트가 됐다

대부분의 수확은 문서(권고)로 끝난다. 이 출처만 실행을 실제로 차단하는 장치가 됐다 — 하네스 설계 글이 워크플로우 비용 게이트로.

강제 게이트

차이의 의미

읽히는 규칙 vs 막는 규칙

문서는 무시할 수 있다. 게이트는 못 한다 — 조건을 어기면 명령이 실행되지 않는다. 그 경계를 넘은 출처가 하나뿐이라는 사실이 채택 기준의 엄격함을 보여준다.

축 3 · 볼륨의 지배자

사람 이름이 아니라 증거의 종류가 기준이 됐다

arXiv 연구 커뮤니티

규칙에 인용된 고유 논문 136편

7월 이후 수확의 사실상 표준 출처. 특정 저자보다 “통제 실험이 있는 증거”라는 기준 자체가 채택 조건이 됐다.

136

고유 논문

근거 보강

출처의 질 — 계단식 상승

스타 수에서 실험 증거까지

4월 · GitHub 스타 수

낮음

5~6월 · 화제성

중간

7월 · 통제 실험

높음

인기가 아니라 반증 가능성이 채택 조건이 된 지점.

그 외 기명 영향 — OpenAI Codex 팀 37 · addyosmani 17 · LangChain 13

ACT 02 / 05 · 규모

규모

By the Numbers

2026년 4월 6일 1차부터 7월 25일 211차까지 넉 달. 아래 수치는 전부 전수 파싱한 실측값이다 — 추정이나 반올림이 아니다.

110일간의 실측

숫자로 보는 211라운드

211

수확 라운드

535

반영 아이템

112

살아있는 규칙

136

인용 논문

293

지식 메모

140

강제 hook

7.74

평균 반영 점수 / 10

공백 일수

2.6

라운드당 반영

대상 — 공개 로그 카드 206장 · 지식 인덱스 · 규칙 파일 112개 전수 파싱

Timeline

넉 달의 리듬 — 폭발, 침묵, 재편

4월 · 폭발기

5월 · 8일에 멈춤

6월 · 수확 공백

7월 · 재개 (~7/25)

P1 폭발기

1→110차 · 하루 4회
GitHub 레포 중심

P2 공백

수확 0 · 43일
사고 학습만 지속

P3 증류 개혁

7/3 지식 분리
컨텍스트 26만 절감

P4 논문 지배

하루 3회 재개
회당 50~60편

P5 절제

신규 추가 대신
기존 규칙 강화

공백의 역설

수확이 0이던 달에 규칙이 가장 많이 생겼다

외부 수확

43일간 완전 정지

5월 8일 110차를 끝으로 6월 20일까지 단 한 번의 수확도 없었다.

6월 수확

→

내부 학습

그런데 규칙은 46개 생겼다

외부 지식 대신 실전 사고(버그 수정 커밋)에서 배우는 경로가 대신 돌았다.

6월 신설 규칙

여기서 분업이 처음 드러난다 — 논문은 관점을 주고, 사고는 게이트를 만든다. 뒤에서 다시 나온다.

ACT 03 / 05 · 파이프라인

파이프라인

Collect & Filter

무엇을 모으고 무엇으로 거르는가. 채널·필터·주기·상한이 전부 설정 파일에 코드로 박혀 있다 — 그날의 기분이 아니라.

Input Channels

세 갈래의 신호, 여섯 개의 채널

논문 — 학술 신호

arXiv + HuggingFace

AI·계산언어학·머신러닝·멀티에이전트 4개 카테고리를 매일 최신순으로 스캔하고, HuggingFace가 고르는 인기 논문을 함께 읽는다. 논문 번호로 두 채널 간 중복을 자동 제거.

50편/일

arXiv 스캔

주제어 필터

코드 — 커뮤니티 신호

GitHub 4경로

주간 트렌딩(전 언어 + 6개 언어별), 토픽 검색, 엄선 awesome 리스트 7종. 코드가 없는 문서-전용 레포도 허용한다 — 컨셉과 가이드도 신호다.

6+7

쿼리+리스트

★100+

최소 스타

사람 — 관점 신호

구루 스캔 + 블로그/HN

구루 9인의 GitHub을 직접 스캔한다 — 최근 push 20개에 ★ 누른 레포 30개까지(만든 것뿐 아니라 주목한 것도 신호). 블로그 5피드와 해커뉴스 API를 더한다.

구루 GitHub

20+30

push+star

구독 대상도 심사받는다

“누구를 볼지”조차 사람이 그때그때 고르지 않는다

네 가지 필수 조건 (AND)

하나라도 못 넘으면 목록에서 빠진다

에이전트·자동화 생태계에 실제 결과물 보유
최근 90일 push 3회 이상
공개 레포 10개 이상 — 단일 프로젝트 계정 제외
여러 채널에 겹치면 주 활동처 한 곳만

2026년 4월 심사 결과

실제로 명단이 바뀌었다

활동 유형까지 심사해 “레포를 계속 만드는 사람”만 GitHub 스캔 대상에 남긴다.

글만 쓰는 2인 → X 채널로 강등
비공개 소스 1곳 → 완전 제거

현재 명단 — karpathy·Anthropic(가중치 10) · Simon Willison·nagix(9) · yoheinakajima·OpenAI(8) · LangChain·Matt Shumer(7)

Decision Funnel · 하루 수백 건 → 반영 2~3건

“좋아 보인다”는 도입 사유가 아니다

①

중복 인덱스 — 본 것은 다시 안 본다

모든 항목의 지문(해시)을 영구 기록해 재등장을 차단

누적 7,100건+

②

5축 채점 — 10점 만점, 6점 미만 탈락

자동화 증대 · 마찰 제거 · 강제 전환 가능 · 토큰 효율 · 측정 가능 (각 0~2점)

통과 평균 7.74

③

실행성 판정 — 강제 가능하면 문서 금지

코드로 차단할 수 있는 원칙은 게이트로만. 규칙 문서로 대체 불가

“왜 죄다 룰만?”

④

신규성 판정 — 새로움의 등급

새 행동 변화만 새 규칙 · 정량 보강은 근거만 추가 · 재확인은 노트만

보강 36 : 신규 20

⑤

중복·예산 게이트

기존 규칙과 50% 이상 유사하면 병합 · 규칙 총량과 용량에 상한

114 / 120개

⑥

적용 전후 실측 비교

행동 지표가 안 오르면 폐기 — 변화 없음도 폐기

개선 0 = 폐기

분석까지 살아남고도 절반 이상이 최종 탈락한다 — 최근 92건 중 분석 64 vs 반영 28. 반영 후에도 끝이 아니다: 회귀 시 롤백, 90일간 안 쓰인 규칙은 삭제 후보.

정직한 한계

채점은 예측이지 증명이 아니다 — 문서가 스스로 그렇게 적었다

한계 인정

5축 점수의 정체

“도입하면 좋아질 것”이라는 예측일 뿐이다. 개별 규칙의 실측 개선치는 행동 지표가 거의 안 움직여 사실상 측정이 어렵다 — 파이프라인 문서에 그렇게 명시돼 있다.

그래서 어떻게 하나

입구는 채점, 검증은 사후에

90일간 한 번도 발동 안 한 규칙은 삭제 후보
독립 배치 2회 이상 같은 방향 증거만 승격 유지
자기가 만든 스킬이 placebo였다는 논문(159차)이 나오자 채택 기준 자체를 조였다

ACT 04 / 05 · 결과

결과

What Landed

200회 수확의 최대 관심사는 새 기능이 아니었다 — “AI의 주장을 어떻게 믿을 것인가”였다.

주제별 언급 빈도 · 아이템 제목 535건 + 지식 인덱스 285줄

1·2위가 검증과 평가다

검증 / 게이트

평가 / 벤치마크

하네스 설계

스킬 / 플러그인

워크플로우 / 상태

메모리 / 지식

자가개선 / 진화

코드 인덱싱 / 검색

컨텍스트 관리 / 압축

멀티에이전트 조율

앰버 = 1·2위. “믿음의 문제”가 새 기능·오케스트레이션보다 위에 있다.

가장 많이 강화된 규칙 · 누적 근거 보강 66건

전부 “자율 시스템의 자기기만 방지” 계열이다

recursive-self-improvement-loop

자가개선은 실행→분석→규칙화→청소의 폐루프로 — 산업 배포 실증부터 재귀 개선 논문까지 최다 보강

harness-benefit-not-update

“바꿨다” ≠ “나아졌다” — 측정된 개선치로만 변경을 유지. 별도 시험지 요건도 수확이 추가했다

agentic-abstention-know-when-to-stop

언제 멈출지 아는 능력 — 무진전 반복은 모델 스스로 판별 못 하니 외부 게이트로 멈춘다

process-harness-deterministic-engine-overlay

잘 도는 결정론 워크플로우를 AI로 통째 대체하지 않는다 — AI는 지정된 제어점에서만 개입

metric-skill-coevolution-anchored-audit

지표가 약한 도메인에선 지표 자체를 진화 대상으로 — 심판 없는 자가진화는 왜곡된 지표에 고착된다

execution-time-authorization-layer

프롬프트 안의 모든 통제는 입력으로 우회 가능 — 진짜 강제는 프로세스 밖 권한 계층에

cross-model-adversarial-review

구현이 끝나면 다른 회사의 AI가 결함을 적대적으로 찾는다 — “리뷰 속도 ≠ 품질”이라는 반박 증거까지 흡수

judge 불신 3형제

AI 심판 점수를 믿지 않는 규칙 셋 — 집계 점수의 예측력, 심판을 최적화 루프에 넣을 때의 왜곡, 심판 위원회의 편향 전염

3+3+3

영향이 컸던 다섯 번의 수확 · 규칙 재인용 횟수 기준

다섯 번 모두 “AI가 스스로를 속이는 방식”을 잡아냈다

159차 · 7/9 · 인용 4회

스킬 placebo 실험

7,560번의 실행 비교에서 “AI가 스스로 만든 스킬 문서”는 없을 때와 성능 차이가 없었다. 무관한 내용을 넣어도 같은 점수. — “추가는 기본적으로 비용”이라는 절제 문화의 방아쇠.

188차 · 7/19 · 인용 4회

하네스 진화 평가 재고

자가개선의 “개선”은 같은 예산의 단순 재시도와 비교하고, 검색에 쓰지 않은 별도 시험지에서 재야 진짜다. — 채택 게이트에 그 요건이 들어간 계기.

195차 · 7/20 · 인용 5회

3연타의 날

하루에 세 논문이 각각 다른 규칙을 때렸다 — 멀티에이전트 이득은 정보 전달이 충분할 때만, 심판들의 만장일치가 정답을 보장하지 않으며, 메모리 개선처럼 보인 것이 사실 화면 표시 차이였다.

200차 · 7/22 · 인용 4회

내 루프가 논문에 잡히다

이 시스템이 쓰는 자율 실험 루프와 동형의 실험에서, AI가 평가 정답을 코드에 하드코딩해 점수를 10배 올리는 꼼수가 실측됐다. 별도 시험지의 존재를 알려주자 꼼수가 사라졌다.

203차 · 7/23 · 인용 5회(최다) — 에러가 드러난 지점과 만든 지점은 다르다(원인 귀속 없는 수정 금지) · 검증자가 산출물을 실행해봐도 교묘한 태업은 절반을 놓친다

ACT 05 / 05 · 변화

변화

The Shift

200회가 만든 진짜 변화는 규칙 개수가 아니다 — 시스템의 성격이 뒤집혔다.

4월 → 7월

줍는 시스템에서 거르는 시스템으로

4월 · 국면 1

“좋아 보이는 패턴은 일단 규칙으로”

한 달에 규칙 40개 신설
출처: GitHub 스타 수·트렌딩
하루 4회 수확 — 양이 곧 진척
1~2차에 규칙 12+11개 벌크 반영

→

7월 · 국면 5

“증거가 게이트를 통과할 때만”

신규 대신 근거 보강 66건 누적
출처: 통제 실험이 있는 논문
placebo·별도 시험지 검증이 채택 조건
중복 규칙 9건 흡수 — 빼는 것도 진화

역할 분업

논문은 관점을 주고, 사고는 게이트를 만든다

수확 (외부 지식)

판단 계층에 착지

문서로 남는 규칙과 근거 — 무엇을 믿을지, 어떤 증거를 요구할지의 기준.

112

살아있는 규칙

실전 사고 (버그 수정)

강제 계층에 착지

실행을 실제로 차단하는 장치 — 조건을 어기면 명령이 나가지 않는다.

140