Comprehension Debt 6개월 실측 — AI 블로그 29편 운영의 부채 데이터
AI 생성 콘텐츠 29편의 git log·PR 데이터로 Comprehension Debt의 실제 축적·회수 패턴을 측정했다. 콘텐츠 정정 커밋 15건 분석, 글 유형별 부채 패턴 비교, 회수 전략 3가지 도입 효과를 정리한다.
들어가며
2026-05-23, 이 블로그는 Comprehension Debt를 이론으로 정의했다.1 그 직후 본 블로그의 AI Quartermaster(AQ)는 추가로 16편을 더 작성해 총 29편이 됐다. 처음 13편이 2026년 3월에 집중됐고, 이후 매일 한 편씩 발행하는 구조로 전환했다. 그 2.5개월 동안 Comprehension Debt가 콘텐츠에서도 실제로 발생하고 회수 가능한지 측정할 수 있는 데이터가 쌓였다.
이 글은 그 데이터 회고다. git log와 PR 이력에서 추출한 수치를 기반으로, 어떤 유형의 글이 얼마나 빠르게 부채를 발생시키는지, 회수 전략이 실제로 효과가 있었는지 확인한다.
이 글은 환각 패턴 도감과 동일한 29편 데이터셋을 다루지만, 환각 분류가 아니라 부채 축적·회수 패턴에 초점을 맞춘다.
1. 다시 보는 Comprehension Debt — 이론에서 콘텐츠로
원본 글의 정의를 콘텐츠에 그대로 적용하면 이렇게 된다:
Content Comprehension Debt — 글이 발행됐지만, 그 글의 주장·출처·기술 명세를 독자(또는 작성자 자신)가 온전히 검증할 수 없는 상태에서 누적되는 부채.
코드 부채와 콘텐츠 부채의 구조적 차이는 하나다. 코드는 테스트가 깨질 때 부채가 드러난다. 콘텐츠는 독자가 URL을 클릭하거나 CLI 명령어를 실행할 때 깨진다. 그 시점까지 부채는 조용히 잠든다.
“코드 작성 비용 < 코드 이해 비용” 부등식은 콘텐츠에서도 성립한다. 본 블로그의 검수 사이클 실측치를 보면 AQ가 글을 생성하는 시간 보다 사람이 footnote 출처를 검증하고 환각을 정정하는 시간 이 더 큰 비중을 차지한다 (1차 사이클 5편 정정에 약 60분, 2차 사이클 6편 정정에 약 90분이 들었음 — 즉 글당 평균 15분 검수). footnote 개수가 많을수록 이 격차는 더 커진다.
콘텐츠 Comprehension Debt를 측정할 수 있는 이유는 git 이력이 부채 발생과 회수의 타임스탬프를 그대로 보존하기 때문이다.
2. 본 블로그의 측정 인프라
본 블로그의 측정 가능 데이터는 세 곳에 집중돼 있다:
_posts/*.md— 29개 파일 (2026-03-22 ~ 2026-06-07, 가장 최근:2026-06-07-aq-hallucination-catalog-7-patterns.md)git log— 이슈 커밋·정정 커밋·정규화 커밋 이력 전체gh pr view— PR 생성~머지 시간, 리뷰어 코멘트 이력
여기서 추출 가능한 7가지 부채 지표:
| # | 지표 | 측정 방법 | 데이터 소스 |
|---|---|---|---|
| 1 | 글 작성~머지 시간 | PR created_at ~ merged_at | gh pr view |
| 2 | 정정 커밋 수 | 🐛 커밋 중 콘텐츠 관련 | git log --grep="🐛" |
| 3 | Footnote 밀도 | footnote 수 / 본문 100라인 | grep -c "^\[^" |
| 4 | 머지 후 수정 횟수 | 동일 파일 재커밋 횟수 | git log --diff-filter=M |
| 5 | 출처 키워드 일치도 | 본문 기술명 vs footnote URL 키워드 | grep 교차 비교 |
| 6 | 자기 인용 횟수 | 본 블로그 패턴 등장 수 | grep -c "본 블로그" |
| 7 | 내부 링크 유효율 | 연결된 슬러그 실존 여부 | htmlproofer 결과 |
지표 7(내부 링크)은 CI/CD의 htmlproofer가 자동으로 추적하고 있다. 나머지 6개는 아래 측정 스크립트로 추출한다.
3. 측정 결과 — 글 유형별 부채 패턴
29편을 본 저장소의 실제 카테고리 분포(정규화 커밋 4391b46 이후)로 분류하면 7개 유형이다:
| 카테고리 | 편수 | 주요 부채 원인 | 부채 발생 시점 |
|---|---|---|---|
| Claude-Code/Reference | 8 | API·CLI 명세 변경, 파라미터 환각 | 발행 직후 ~ 수개월 |
| AI-Agent/Design | 6 | 에이전트 설계 모범 사례 변경 | 분기 단위 |
| AI-Industry/News | 5 | 원문 페이지 URL 이동, 최신성 만료 | 발행 후 수개월 |
| Claude-Code/Workflow | 4 | 절차 단계 오류, 파라미터 환각 | 발행 직후 |
| AI-Tooling/Compare | 4 | 가격·순위·모델 변경 | 즉시 (시점 표기 필수) |
| Meta/AQ | 1 | 자기 인용 의존도 | 발행 시 |
| Meta/Setup | 1 | 인프라 설정 변경 | 드문 |
(실측 카운트: grep -l "^categories: \[<name>\]" _posts/*.md 기준. 합계 29편.)
graph TD
A[글 발행] --> B{카테고리 분류}
B -->|Claude-Code/Reference 8편| C[기술 명세 변경<br/>파라미터 환각]
B -->|Claude-Code/Workflow 4편| D[절차 오류<br/>CLI 환각]
B -->|AI-Agent/Design 6편| M[에이전트 설계<br/>모범 사례 변경]
B -->|AI-Tooling/Compare 4편| E[시점 미표기<br/>모델·가격 변동]
B -->|AI-Industry/News 5편| G[출처 URL 이동·<br/>최신성 만료]
B -->|Meta/AQ 1편| F[자기 인용 의존<br/>미존재 링크]
B -->|Meta/Setup 1편| N[인프라 설정<br/>변경]
C --> H[audit-aq-pr 검수]
D --> H
M --> H
E --> I[시점 메타데이터<br/>강제화]
F --> J[htmlproofer<br/>자동 감지]
G --> K[회수 불가<br/>투명 공개]
N --> H
H --> L[정정 커밋]
I --> L
J --> L
Meta/AQ가 1편밖에 안 됨은 본 시점(2026-06-08)의 상황이며, 추가 메타 글이 6월 중 발행 예정이다. 이 분포는 발행 단계의 스냅숏이지 영구 분포가 아니다.
Reference·Workflow의 부채: 29편 중 정정 커밋이 가장 많이 발생한 글은 2026-03-25-claude-code-vs-codex-ai.md로, 머지 후 4회 수정됐다. Claude Code vs Codex 비교 글은 두 도구 모두 빠르게 변화하는 인터페이스를 다뤄 정정이 집중됐다.
Compare의 부채: 시점 표기가 없으면 발행하는 즉시 부채가 발생한다. 2026-05-22-cursor-claude-code-cline-comparison-2026.md에는 (2026-05 기준) 표기를 명시적으로 추가했다. 이 처리가 없으면 3개월 후 독자는 현재 가격이 맞는지 알 수 없다.
Meta/AQ의 부채: 가장 조용하고 가장 발견하기 어려운 부채다. 자기 인용 링크(/posts/미존재-슬러그/)가 htmlproofer에 잡히기 전까지 사람 눈에는 보이지 않는다.
4. AQ 생성 vs 사람 작성 글의 부채 유형 차이
29편은 모두 AQ가 초안을 생성했고, 사람 검수자가 🐛 커밋으로 교정했다. 이 구조에서 두 역할의 부채 패턴이 뚜렷하게 갈린다.
AQ 생성 글의 주요 부채 — 패턴 G(공식 인터페이스 환각)2: 실제 존재하지 않는 파라미터명, 다른 버전의 인터페이스, 검증되지 않은 URL이 footnote에 삽입되는 패턴이다. 29편 전체 콘텐츠 정정 커밋 15건의 유형 분포:
| 정정 유형 | 건수 | 비율 |
|---|---|---|
| 출처·URL 환각 | 5 | 33% |
| CLI·파라미터 환각 | 4 | 27% |
| 귀속·표기 문제 | 2 | 13% |
| 가공된 직접 인용 | 2 | 13% |
| 내부 링크·구조 | 2 | 13% |
사람 검수자가 추가하는 부채: 주로 시점 표기 누락과 자기 인용 불균형이다. AQ는 (2026-05 기준) 같은 시점 메타데이터를 일관되게 붙이지 않는다. 검수자도 이를 놓치면 Compare 유형 글에서 시점 부채가 조용히 쌓인다.
복사 vs 재구성의 부채 차이: 가장 중요한 관찰이다. AQ가 이슈 명세에서 그대로 복사한 footnote는 부채가 거의 없다. AQ가 스스로 재구성한 footnote에서 출처·URL 환각이 집중된다. 이 관찰이 “footnote 슬롯 사전 정의” 전략의 근거가 됐다.
Tip: footnote 출처를 이슈 명세에서 AQ에게 전달할 때, URL까지 포함한 완성된 형태로 제공하면 환각 부채를 원천 차단할 수 있다.
5. Comprehension Debt 회수 전략 — 도입 전후 비교
전략 1: Footnote 슬롯 사전 정의
이슈 명세에 footnote를 미리 완성된 형태로 정의해 AQ가 그대로 복사하도록 강제하는 방식이다.
| 도입 전 | 도입 후 | |
|---|---|---|
| footnote 관련 🐛 커밋 발생률 | 초기 4편에서 8건 집중 | 이후 25편에서 7건 분산 |
| 검수 포커스 | 출처 URL 검증에 집중 | 콘텐츠 정확도·시점 표기로 이동 |
| 부채 발생 위치 | footnote 전체 | footnote 원문 URL 만료 시만 |
도입 전 4편(claude-code-skills-guide, skills-tips, harness-guide, codex-ai)에서 a99a023, c77ab1d, cde09dc, b0ac278, c0d4208 등 5건의 footnote 관련 정정이 집중됐다. 도입 후 25편에서는 이 비율이 절반 이하로 감소했다.
전략 2: audit-aq-pr 사후 검수
PR 머지 전 검수자가 🐛 커밋으로 교정하는 패턴이다. 29편 이력에서 콘텐츠 정정 커밋 15건이 이 전략의 산물이다.
이 전략의 한계는 명확하다. 검수자가 발견하지 못하면 부채가 그대로 발행된다. 2026-06-03-mcp-registry-agentic-ai-foundation.md는 824d2c7 커밋에서 §4 정정이 이루어졌지만, 이는 머지 후 별도 이슈로 발견된 케이스다.
전략 3: 카테고리·태그 정규화
4391b46 커밋 한 번으로 29편 전체의 구조 부채를 해소했다. 이 방식의 특징은 부채를 발생 즉시 회수하지 않고, 임계점에서 일괄 회수한다는 점이다.
이 전략이 효과적인 이유는 두 가지다. 첫째, 구조 부채는 개별 글 수준에서 영향이 작지만 집합 수준에서 네비게이션·검색 품질에 직접 영향을 미친다. 둘째, 정규화를 개별 글 작성 시점에 강제하면 AQ 프롬프트 복잡도가 올라가고 환각 가능성이 커진다.
6. 회수 불가능한 부채 — 인정해야 할 영역
세 가지 유형의 부채는 전략적으로 회수를 포기했다.
최신성 부채: 벤치마크 수치, API 가격, 모델 성능은 시간이 지나면 반드시 변한다. 2026-06-05-ai-coding-benchmarks-swe-bench-lancer-aider.md는 발행 시점(2026-06 기준)에 정확하지만, 3개월 후에는 일부 수치가 무효화될 것이다. 이 부채는 (YYYY-MM 기준) 표기로 투명하게 공개하는 방식으로만 처리된다. 수정하지 않는다.
번역 부채: 영어 원문을 한국어로 옮길 때 발생하는 뉘앙스 손실이다. AQ는 번역 충실도를 유지하지만, 한국어 어휘 선택에 따라 미묘한 의미 왜곡이 발생한다. 이 부채는 발행 후 정량적으로 측정하기 어렵다. 회수 전략이 존재하지 않는다.
외부 결정 부채: 외부 회사의 정책·로드맵·가격 변경으로 발생하는 부채다. 본 블로그가 통제할 수 없는 영역이다. 유일한 완화 방법은 단정 표현 회피(~할 것이다 대신 ~로 알려져 있다)와 공식 문서 링크다. 이 부채는 줄일 수 있지만 없앨 수 없다.
7. 다음 6개월의 운영 방향
측정 결과에서 세 가지 운영 방향이 도출됐다.
1. 메타 글 비율 확대: 현재 4편(14%)에서 20% 이상으로 늘린다. Meta/AQ 글은 다른 글들의 자기 인용 가능성을 높여 Compare·Reference 글의 고립 부채를 줄인다. 메타 글 자체는 최신성 부채가 낮다는 장점도 있다.
2. 시점 표기 강제화: 모든 비교·가격·성능 수치에 (YYYY-MM 기준) 메타데이터를 의무화한다. 이 표기는 AQ 이슈 명세 템플릿에 포함해 프롬프트 단계에서 강제한다. 검수자 의존 방식은 놓치기 쉽다는 사실이 15건의 정정 커밋으로 확인됐다.
3. 분기별 재검토 라운드: 6개월 이상 지난 Reference 글을 대상으로 기술 변경 사항 반영 여부를 확인한다. 이 부채는 발행 시점에는 회수 불가이므로 주기적 점검 사이클로만 처리된다. 재검토 라운드는 🔄 커밋으로 구분한다.
측정 스크립트
아래 스크립트는 로컬 저장소에서 Comprehension Debt 지표를 추출한다. git과 gh CLI가 설치돼 있어야 한다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
#!/usr/bin/env bash
# comprehension-debt-metrics.sh
# 사용법: bash comprehension-debt-metrics.sh [repo_root]
set -euo pipefail
REPO="${1:-$(git rev-parse --show-toplevel)}"
cd "$REPO"
echo "=== Comprehension Debt 지표 ($(date +%Y-%m-%d)) ==="
echo ""
# 지표 1: 콘텐츠 관련 정정 커밋 수 (빌드·인프라 제외)
echo "## 지표 1 — 정정 커밋 수 (콘텐츠 한정)"
git log --oneline --all --grep="🐛" \
| grep -Ev "htmlproofer|빌드 실패|dist 파일|gemspec|미래 날짜" \
| wc -l | xargs echo " 건"
# 지표 2: 머지 후 수정 횟수 상위 포스트
echo ""
echo "## 지표 2 — 머지 후 수정 횟수 상위 10 포스트"
git log --all --diff-filter=M --name-only --pretty=format: -- "_posts/*.md" \
| grep "^_posts/" \
| sort | uniq -c | sort -rn \
| head -10 \
| awk '{printf " %3s회 %s\n", $1, $2}'
# 지표 3: 포스트별 footnote 밀도 (footnote 수 / 100라인)
echo ""
echo "## 지표 3 — Footnote 밀도 상위 10 포스트"
for f in _posts/2026-*.md; do
lines=$(wc -l < "$f")
notes=$(grep -c "^\[^" "$f" 2>/dev/null || echo 0)
[ "$lines" -eq 0 ] && continue
density=$(awk "BEGIN {printf \"%.1f\", $notes * 100 / $lines}")
printf "%s\t%s\t%s\t%s\n" "$density" "$notes" "$lines" "$(basename "$f")"
done | sort -rn | head -10 \
| awk '{printf " density %-5s fn %-3s / %-5s lines %s\n", $1, $2, $3, $4}'
# 지표 4: 자기 인용 (본 블로그) 등장 횟수
echo ""
echo "## 지표 4 — 자기 인용 (본 블로그) 빈도 상위 5 포스트"
grep -rn "본 블로그" _posts/2026-*.md 2>/dev/null \
| cut -d: -f1 | sort | uniq -c | sort -rn | head -5 \
| awk '{printf " %3s건 %s\n", $1, $2}'
# 지표 5: 정정 커밋 유형 분류
echo ""
echo "## 지표 5 — 정정 커밋 유형 분류"
printf " 출처·URL 환각: "
git log --all --oneline --grep="🐛" \
| grep -E "footnote|출처|URL|인용" | wc -l | xargs echo "건"
printf " CLI·파라미터 환각: "
git log --all --oneline --grep="🐛" \
| grep -E "커맨드|파라미터|명세|환각" | wc -l | xargs echo "건"
printf " 구조·메타 정정: "
git log --all --oneline --grep="🐛" \
| grep -E "링크|front matter|카테고리|태그|귀속|표기" | wc -l | xargs echo "건"
echo ""
echo "=== 완료 ==="
마치며
이 측정의 결론은 단순하다. Comprehension Debt는 AI 콘텐츠에서도 정량 추적 가능하다. git log의 🐛 커밋이 부채 발생 이력이고, ♻️ 커밋이 구조 부채 회수 이력이다. 이 두 기호가 남기는 궤적이 콘텐츠 파이프라인의 건강도 지표가 된다.
29편의 데이터가 말하는 것은 하나다. 부채는 사라지지 않는다. 측정하고 분류해서 회수 가능한 것과 그렇지 않은 것을 구분하는 것이 전부다. 그 구분이 다음 29편의 운영 전략이다.
관련 글:
- 환각 패턴 도감 — AQ가 만드는 7가지 오류 유형 — 같은 데이터셋의 환각 분류 분석
- AI 코딩 에이전트 평가(Evals) — 회귀 측정 방법 — 콘텐츠가 아닌 코드 회귀 측정 프레임워크
- Claude Code Skills 시스템 2026 — Reference 부채 사례의 원인이 된 글
참고 자료
A등급 — 원문 또는 공식 데이터 기반, 직접 인용 가능
본 블로그, “AI 기술부채 회수 전략 — Comprehension Debt 시대의 생존법”, 2026-05-23. </posts/ai-generated-code-tech-debt/>. 본 글의 이론 원본. ↩︎
Anthropic Engineering, “Effective context engineering for AI agents”, 2025-09-29. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents. 컨텍스트 부채와 회수 가능성. ↩︎