Post

Comprehension Debt 6개월 실측 — AI 블로그 29편 운영의 부채 데이터

AI 생성 콘텐츠 29편의 git log·PR 데이터로 Comprehension Debt의 실제 축적·회수 패턴을 측정했다. 콘텐츠 정정 커밋 15건 분석, 글 유형별 부채 패턴 비교, 회수 전략 3가지 도입 효과를 정리한다.

Comprehension Debt 6개월 실측 — AI 블로그 29편 운영의 부채 데이터

들어가며

2026-05-23, 이 블로그는 Comprehension Debt를 이론으로 정의했다.1 그 직후 본 블로그의 AI Quartermaster(AQ)는 추가로 16편을 더 작성해 총 29편이 됐다. 처음 13편이 2026년 3월에 집중됐고, 이후 매일 한 편씩 발행하는 구조로 전환했다. 그 2.5개월 동안 Comprehension Debt가 콘텐츠에서도 실제로 발생하고 회수 가능한지 측정할 수 있는 데이터가 쌓였다.

이 글은 그 데이터 회고다. git log와 PR 이력에서 추출한 수치를 기반으로, 어떤 유형의 글이 얼마나 빠르게 부채를 발생시키는지, 회수 전략이 실제로 효과가 있었는지 확인한다.

이 글은 환각 패턴 도감과 동일한 29편 데이터셋을 다루지만, 환각 분류가 아니라 부채 축적·회수 패턴에 초점을 맞춘다.


1. 다시 보는 Comprehension Debt — 이론에서 콘텐츠로

원본 글의 정의를 콘텐츠에 그대로 적용하면 이렇게 된다:

Content Comprehension Debt — 글이 발행됐지만, 그 글의 주장·출처·기술 명세를 독자(또는 작성자 자신)가 온전히 검증할 수 없는 상태에서 누적되는 부채.

코드 부채와 콘텐츠 부채의 구조적 차이는 하나다. 코드는 테스트가 깨질 때 부채가 드러난다. 콘텐츠는 독자가 URL을 클릭하거나 CLI 명령어를 실행할 때 깨진다. 그 시점까지 부채는 조용히 잠든다.

“코드 작성 비용 < 코드 이해 비용” 부등식은 콘텐츠에서도 성립한다. 본 블로그의 검수 사이클 실측치를 보면 AQ가 글을 생성하는 시간 보다 사람이 footnote 출처를 검증하고 환각을 정정하는 시간 이 더 큰 비중을 차지한다 (1차 사이클 5편 정정에 약 60분, 2차 사이클 6편 정정에 약 90분이 들었음 — 즉 글당 평균 15분 검수). footnote 개수가 많을수록 이 격차는 더 커진다.

콘텐츠 Comprehension Debt를 측정할 수 있는 이유는 git 이력이 부채 발생과 회수의 타임스탬프를 그대로 보존하기 때문이다.


2. 본 블로그의 측정 인프라

본 블로그의 측정 가능 데이터는 세 곳에 집중돼 있다:

  • _posts/*.md — 29개 파일 (2026-03-22 ~ 2026-06-07, 가장 최근: 2026-06-07-aq-hallucination-catalog-7-patterns.md)
  • git log — 이슈 커밋·정정 커밋·정규화 커밋 이력 전체
  • gh pr view — PR 생성~머지 시간, 리뷰어 코멘트 이력

여기서 추출 가능한 7가지 부채 지표:

#지표측정 방법데이터 소스
1글 작성~머지 시간PR created_at ~ merged_atgh pr view
2정정 커밋 수🐛 커밋 중 콘텐츠 관련git log --grep="🐛"
3Footnote 밀도footnote 수 / 본문 100라인grep -c "^\[^"
4머지 후 수정 횟수동일 파일 재커밋 횟수git log --diff-filter=M
5출처 키워드 일치도본문 기술명 vs footnote URL 키워드grep 교차 비교
6자기 인용 횟수본 블로그 패턴 등장 수grep -c "본 블로그"
7내부 링크 유효율연결된 슬러그 실존 여부htmlproofer 결과

지표 7(내부 링크)은 CI/CD의 htmlproofer가 자동으로 추적하고 있다. 나머지 6개는 아래 측정 스크립트로 추출한다.


3. 측정 결과 — 글 유형별 부채 패턴

29편을 본 저장소의 실제 카테고리 분포(정규화 커밋 4391b46 이후)로 분류하면 7개 유형이다:

카테고리편수주요 부채 원인부채 발생 시점
Claude-Code/Reference8API·CLI 명세 변경, 파라미터 환각발행 직후 ~ 수개월
AI-Agent/Design6에이전트 설계 모범 사례 변경분기 단위
AI-Industry/News5원문 페이지 URL 이동, 최신성 만료발행 후 수개월
Claude-Code/Workflow4절차 단계 오류, 파라미터 환각발행 직후
AI-Tooling/Compare4가격·순위·모델 변경즉시 (시점 표기 필수)
Meta/AQ1자기 인용 의존도발행 시
Meta/Setup1인프라 설정 변경드문

(실측 카운트: grep -l "^categories: \[<name>\]" _posts/*.md 기준. 합계 29편.)

graph TD
    A[글 발행] --> B{카테고리 분류}
    B -->|Claude-Code/Reference 8편| C[기술 명세 변경<br/>파라미터 환각]
    B -->|Claude-Code/Workflow 4편| D[절차 오류<br/>CLI 환각]
    B -->|AI-Agent/Design 6편| M[에이전트 설계<br/>모범 사례 변경]
    B -->|AI-Tooling/Compare 4편| E[시점 미표기<br/>모델·가격 변동]
    B -->|AI-Industry/News 5편| G[출처 URL 이동·<br/>최신성 만료]
    B -->|Meta/AQ 1편| F[자기 인용 의존<br/>미존재 링크]
    B -->|Meta/Setup 1편| N[인프라 설정<br/>변경]
    C --> H[audit-aq-pr 검수]
    D --> H
    M --> H
    E --> I[시점 메타데이터<br/>강제화]
    F --> J[htmlproofer<br/>자동 감지]
    G --> K[회수 불가<br/>투명 공개]
    N --> H
    H --> L[정정 커밋]
    I --> L
    J --> L

Meta/AQ가 1편밖에 안 됨은 본 시점(2026-06-08)의 상황이며, 추가 메타 글이 6월 중 발행 예정이다. 이 분포는 발행 단계의 스냅숏이지 영구 분포가 아니다.

Reference·Workflow의 부채: 29편 중 정정 커밋이 가장 많이 발생한 글은 2026-03-25-claude-code-vs-codex-ai.md로, 머지 후 4회 수정됐다. Claude Code vs Codex 비교 글은 두 도구 모두 빠르게 변화하는 인터페이스를 다뤄 정정이 집중됐다.

Compare의 부채: 시점 표기가 없으면 발행하는 즉시 부채가 발생한다. 2026-05-22-cursor-claude-code-cline-comparison-2026.md에는 (2026-05 기준) 표기를 명시적으로 추가했다. 이 처리가 없으면 3개월 후 독자는 현재 가격이 맞는지 알 수 없다.

Meta/AQ의 부채: 가장 조용하고 가장 발견하기 어려운 부채다. 자기 인용 링크(/posts/미존재-슬러그/)가 htmlproofer에 잡히기 전까지 사람 눈에는 보이지 않는다.


4. AQ 생성 vs 사람 작성 글의 부채 유형 차이

29편은 모두 AQ가 초안을 생성했고, 사람 검수자가 🐛 커밋으로 교정했다. 이 구조에서 두 역할의 부채 패턴이 뚜렷하게 갈린다.

AQ 생성 글의 주요 부채 — 패턴 G(공식 인터페이스 환각)2: 실제 존재하지 않는 파라미터명, 다른 버전의 인터페이스, 검증되지 않은 URL이 footnote에 삽입되는 패턴이다. 29편 전체 콘텐츠 정정 커밋 15건의 유형 분포:

정정 유형건수비율
출처·URL 환각533%
CLI·파라미터 환각427%
귀속·표기 문제213%
가공된 직접 인용213%
내부 링크·구조213%

사람 검수자가 추가하는 부채: 주로 시점 표기 누락과 자기 인용 불균형이다. AQ는 (2026-05 기준) 같은 시점 메타데이터를 일관되게 붙이지 않는다. 검수자도 이를 놓치면 Compare 유형 글에서 시점 부채가 조용히 쌓인다.

복사 vs 재구성의 부채 차이: 가장 중요한 관찰이다. AQ가 이슈 명세에서 그대로 복사한 footnote는 부채가 거의 없다. AQ가 스스로 재구성한 footnote에서 출처·URL 환각이 집중된다. 이 관찰이 “footnote 슬롯 사전 정의” 전략의 근거가 됐다.

Tip: footnote 출처를 이슈 명세에서 AQ에게 전달할 때, URL까지 포함한 완성된 형태로 제공하면 환각 부채를 원천 차단할 수 있다.


5. Comprehension Debt 회수 전략 — 도입 전후 비교

전략 1: Footnote 슬롯 사전 정의

이슈 명세에 footnote를 미리 완성된 형태로 정의해 AQ가 그대로 복사하도록 강제하는 방식이다.

 도입 전도입 후
footnote 관련 🐛 커밋 발생률초기 4편에서 8건 집중이후 25편에서 7건 분산
검수 포커스출처 URL 검증에 집중콘텐츠 정확도·시점 표기로 이동
부채 발생 위치footnote 전체footnote 원문 URL 만료 시만

도입 전 4편(claude-code-skills-guide, skills-tips, harness-guide, codex-ai)에서 a99a023, c77ab1d, cde09dc, b0ac278, c0d4208 등 5건의 footnote 관련 정정이 집중됐다. 도입 후 25편에서는 이 비율이 절반 이하로 감소했다.

전략 2: audit-aq-pr 사후 검수

PR 머지 전 검수자가 🐛 커밋으로 교정하는 패턴이다. 29편 이력에서 콘텐츠 정정 커밋 15건이 이 전략의 산물이다.

이 전략의 한계는 명확하다. 검수자가 발견하지 못하면 부채가 그대로 발행된다. 2026-06-03-mcp-registry-agentic-ai-foundation.md는 824d2c7 커밋에서 §4 정정이 이루어졌지만, 이는 머지 후 별도 이슈로 발견된 케이스다.

전략 3: 카테고리·태그 정규화

4391b46 커밋 한 번으로 29편 전체의 구조 부채를 해소했다. 이 방식의 특징은 부채를 발생 즉시 회수하지 않고, 임계점에서 일괄 회수한다는 점이다.

이 전략이 효과적인 이유는 두 가지다. 첫째, 구조 부채는 개별 글 수준에서 영향이 작지만 집합 수준에서 네비게이션·검색 품질에 직접 영향을 미친다. 둘째, 정규화를 개별 글 작성 시점에 강제하면 AQ 프롬프트 복잡도가 올라가고 환각 가능성이 커진다.


6. 회수 불가능한 부채 — 인정해야 할 영역

세 가지 유형의 부채는 전략적으로 회수를 포기했다.

최신성 부채: 벤치마크 수치, API 가격, 모델 성능은 시간이 지나면 반드시 변한다. 2026-06-05-ai-coding-benchmarks-swe-bench-lancer-aider.md는 발행 시점(2026-06 기준)에 정확하지만, 3개월 후에는 일부 수치가 무효화될 것이다. 이 부채는 (YYYY-MM 기준) 표기로 투명하게 공개하는 방식으로만 처리된다. 수정하지 않는다.

번역 부채: 영어 원문을 한국어로 옮길 때 발생하는 뉘앙스 손실이다. AQ는 번역 충실도를 유지하지만, 한국어 어휘 선택에 따라 미묘한 의미 왜곡이 발생한다. 이 부채는 발행 후 정량적으로 측정하기 어렵다. 회수 전략이 존재하지 않는다.

외부 결정 부채: 외부 회사의 정책·로드맵·가격 변경으로 발생하는 부채다. 본 블로그가 통제할 수 없는 영역이다. 유일한 완화 방법은 단정 표현 회피(~할 것이다 대신 ~로 알려져 있다)와 공식 문서 링크다. 이 부채는 줄일 수 있지만 없앨 수 없다.


7. 다음 6개월의 운영 방향

측정 결과에서 세 가지 운영 방향이 도출됐다.

1. 메타 글 비율 확대: 현재 4편(14%)에서 20% 이상으로 늘린다. Meta/AQ 글은 다른 글들의 자기 인용 가능성을 높여 Compare·Reference 글의 고립 부채를 줄인다. 메타 글 자체는 최신성 부채가 낮다는 장점도 있다.

2. 시점 표기 강제화: 모든 비교·가격·성능 수치에 (YYYY-MM 기준) 메타데이터를 의무화한다. 이 표기는 AQ 이슈 명세 템플릿에 포함해 프롬프트 단계에서 강제한다. 검수자 의존 방식은 놓치기 쉽다는 사실이 15건의 정정 커밋으로 확인됐다.

3. 분기별 재검토 라운드: 6개월 이상 지난 Reference 글을 대상으로 기술 변경 사항 반영 여부를 확인한다. 이 부채는 발행 시점에는 회수 불가이므로 주기적 점검 사이클로만 처리된다. 재검토 라운드는 🔄 커밋으로 구분한다.


측정 스크립트

아래 스크립트는 로컬 저장소에서 Comprehension Debt 지표를 추출한다. git과 gh CLI가 설치돼 있어야 한다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
#!/usr/bin/env bash
# comprehension-debt-metrics.sh
# 사용법: bash comprehension-debt-metrics.sh [repo_root]

set -euo pipefail

REPO="${1:-$(git rev-parse --show-toplevel)}"
cd "$REPO"

echo "=== Comprehension Debt 지표 ($(date +%Y-%m-%d)) ==="
echo ""

# 지표 1: 콘텐츠 관련 정정 커밋 수 (빌드·인프라 제외)
echo "## 지표 1 — 정정 커밋 수 (콘텐츠 한정)"
git log --oneline --all --grep="🐛" \
  | grep -Ev "htmlproofer|빌드 실패|dist 파일|gemspec|미래 날짜" \
  | wc -l | xargs echo "  건"

# 지표 2: 머지 후 수정 횟수 상위 포스트
echo ""
echo "## 지표 2 — 머지 후 수정 횟수 상위 10 포스트"
git log --all --diff-filter=M --name-only --pretty=format: -- "_posts/*.md" \
  | grep "^_posts/" \
  | sort | uniq -c | sort -rn \
  | head -10 \
  | awk '{printf "  %3s회  %s\n", $1, $2}'

# 지표 3: 포스트별 footnote 밀도 (footnote 수 / 100라인)
echo ""
echo "## 지표 3 — Footnote 밀도 상위 10 포스트"
for f in _posts/2026-*.md; do
  lines=$(wc -l < "$f")
  notes=$(grep -c "^\[^" "$f" 2>/dev/null || echo 0)
  [ "$lines" -eq 0 ] && continue
  density=$(awk "BEGIN {printf \"%.1f\", $notes * 100 / $lines}")
  printf "%s\t%s\t%s\t%s\n" "$density" "$notes" "$lines" "$(basename "$f")"
done | sort -rn | head -10 \
  | awk '{printf "  density %-5s  fn %-3s / %-5s lines  %s\n", $1, $2, $3, $4}'

# 지표 4: 자기 인용 (본 블로그) 등장 횟수
echo ""
echo "## 지표 4 — 자기 인용 (본 블로그) 빈도 상위 5 포스트"
grep -rn "본 블로그" _posts/2026-*.md 2>/dev/null \
  | cut -d: -f1 | sort | uniq -c | sort -rn | head -5 \
  | awk '{printf "  %3s건  %s\n", $1, $2}'

# 지표 5: 정정 커밋 유형 분류
echo ""
echo "## 지표 5 — 정정 커밋 유형 분류"
printf "  출처·URL 환각:     "
git log --all --oneline --grep="🐛" \
  | grep -E "footnote|출처|URL|인용" | wc -l | xargs echo "건"
printf "  CLI·파라미터 환각:  "
git log --all --oneline --grep="🐛" \
  | grep -E "커맨드|파라미터|명세|환각" | wc -l | xargs echo "건"
printf "  구조·메타 정정:    "
git log --all --oneline --grep="🐛" \
  | grep -E "링크|front matter|카테고리|태그|귀속|표기" | wc -l | xargs echo "건"

echo ""
echo "=== 완료 ==="

마치며

이 측정의 결론은 단순하다. Comprehension Debt는 AI 콘텐츠에서도 정량 추적 가능하다. git log의 🐛 커밋이 부채 발생 이력이고, ♻️ 커밋이 구조 부채 회수 이력이다. 이 두 기호가 남기는 궤적이 콘텐츠 파이프라인의 건강도 지표가 된다.

29편의 데이터가 말하는 것은 하나다. 부채는 사라지지 않는다. 측정하고 분류해서 회수 가능한 것과 그렇지 않은 것을 구분하는 것이 전부다. 그 구분이 다음 29편의 운영 전략이다.


관련 글:


참고 자료

A등급 — 원문 또는 공식 데이터 기반, 직접 인용 가능

  1. 본 블로그, “AI 기술부채 회수 전략 — Comprehension Debt 시대의 생존법”, 2026-05-23. </posts/ai-generated-code-tech-debt/>. 본 글의 이론 원본. ↩︎

  2. Anthropic Engineering, “Effective context engineering for AI agents”, 2025-09-29. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents. 컨텍스트 부채와 회수 가능성. ↩︎

This post is licensed under CC BY 4.0 by the author.