Post

AI Quartermaster 운영 회고 — 환각 패턴 도감 7가지 (A~G)

AQ 자동 생성 PR 29편 검수 데이터를 기반으로 반복 환각 패턴 7가지(A~G)를 도감 형태로 정리했다. 실측 PR 번호·정정 커밋·CHK 명령과 함께 AI 콘텐츠 파이프라인 가드레일 설계의 1차 사례를 제공한다.

AI Quartermaster 운영 회고 — 환각 패턴 도감 7가지 (A~G)

들어가며

2026년 3월부터 6월까지, 본 블로그는 AI Quartermaster(AQ)가 자동 생성한 블로그 포스트 PR 29편을 검수·정정·머지하는 과정을 거쳤다. 이 과정에서 반복적으로 등장하는 환각 패턴 7가지가 식별됐다.

“패턴 A~G” 명칭은 본 블로그의 자체 명명이다. 업계 표준 용어가 아니며, 같은 현상을 다르게 부르는 선행 연구와의 혼용을 피해야 한다. 이 패턴들은 AI 콘텐츠 파이프라인이라는 특수한 운영 맥락에서 관찰된 것이다.

목표: AI 콘텐츠 파이프라인을 직접 운영하는 개발자가 자기 가드레일을 설계할 때 참고할 수 있는 1차 운영 사례 데이터.


1. AQ 파이프라인 — 한 사이클의 흐름

본 블로그의 AQ 파이프라인은 두 단계의 가드레일 스킬을 중심으로 구성된다.12

  • write-aq-issue.md — 이슈 단계 가드: 출처를 완성된 footnote 슬롯으로 사전 정의하여 AQ가 URL을 재작성하지 못하게 한다.
  • audit-aq-pr.md — PR 단계 가드: CHK-1~6 명령으로 환각을 1차 검출한다.
flowchart TD
    A["이슈 발행\n(aqm 라벨)"] --> B["AQ\nDraft PR 생성"]
    B --> C["CHK-1~6\n자동 환각 검수"]
    C --> D{환각 발견?}
    D -- 없음 --> E["PR Ready 전환"]
    D -- 있음 --> F["정정 커밋\n(🐛 prefix)"]
    F --> C
    E --> G["사람 최종 검토"]
    G --> H["머지"]

    style A fill:#e3f2fd,stroke:#1565c0
    style B fill:#e8f5e9,stroke:#2e7d32
    style C fill:#fff3e0,stroke:#e65100
    style D fill:#fce4ec,stroke:#c62828
    style F fill:#fce4ec,stroke:#c62828
    style E fill:#e8f5e9,stroke:#2e7d32
    style H fill:#4caf50,color:#fff

운영 사이클 이력:

  • 1차 사이클 (이슈 #101–#105, 2026-05-17): PR #106–#110, 5편 생성 — 정정 커밋 4건 발생
  • 2차 사이클 (이슈 #111–#116, 2026-05-19~20): PR #117–#122, 6편 생성 — 정정 커밋 6건 발생

사이클 간에 CHK-6이 추가되고, footnote 슬롯 규칙이 강화됐다. 그 효과와 한계는 §9 비교 표에서 다룬다.


2. 패턴 A — 가짜 제목 + 짧은 루트 URL

시그널: footnote 정의가 https://도메인.com 형태의 루트 URL만 갖고, 그럴듯한 기사 제목이 함께 붙어 있다.

발생 사례:

  • PR #107 (AI 코딩 에이전트 보안 글): SecurityWeek footnote에 “Prompt Injection Attacks on AI Coding Assistants Enable Supply Chain Compromise” 라는 제목이 URL https://www.securityweek.com 에 귀속됨. 실제 기사 제목은 다르며 전체 슬러그 URL을 가진다. 커밋 c77ab1d에서 정정됨.
  • PR #119 (MCP Registry 글): footnote 4건이 루트 도메인 + 가짜 제목 조합. 커밋 b0ac278에서 실제 1차 자료 슬러그·도메인으로 정정됨.

합성 메커니즘: AQ는 주제와 관련 있는 그럴듯한 제목을 생성한 뒤, 해당 도메인의 실제 슬러그를 모르기 때문에 루트 URL만 붙인다. 결과적으로 클릭하면 기사가 없는 footnote가 만들어진다.

차단 가드레일: 이슈 §2.4 footnote 슬롯 사전 정의 (가드레일 11조) — 이슈 본문에 완성된 형태의 footnote를 미리 정의해 AQ가 그대로 복사하게 한다. AQ가 URL을 재작성할 여지를 원천 차단한다.

1
2
3
4
# CHK-2: Footnote 출처 비일치 검사
grep -nE '\[\^[a-z0-9-]+\]:' <파일>
# 각 footnote의 URL 경로가 이슈 권장 URL 경로와 일치하는지 비교
# 루트 도메인만 있는 footnote는 즉시 환각 의심

3. 패턴 B — 도메인 오타 / 슬러그 환각

시그널: footnote의 도메인이 실존하는 도메인과 비슷하지만 실제로는 다른 주소다.

발생 사례:

  • PR #107: scmedia.com (실제: scworld.com)
  • PR #119: registry.mcp.so (실제: registry.modelcontextprotocol.io). 커밋 b0ac278으로 정정됨.

합성 메커니즘: 비슷한 음운·구조의 없는 도메인을 합성한다. “MCP registry”라는 맥락에서 registry.mcp.so 처럼 의미상 그럴듯한 도메인을 만들어낸다. DNS에 실제로 존재하지 않는 주소다.

차단 가드레일: 발행 전 WebFetch 200 OK 검증 (가드레일 §2.6). DNS 레벨에서 존재하지 않는 도메인은 이 단계에서 거의 모두 잡힌다.

패턴 B는 패턴 A와 함께 등장하는 경우가 많다. 루트 URL + 오타 도메인 조합이 전형적인 이중 패턴이다.


4. 패턴 C — 본문이 가짜 출처와 호응

시그널: footnote를 정정해도 본문 키워드가 가짜 출처와 의미 짝을 이루며 남아 있다.

발생 사례:

  • PR #107 (AI 코딩 에이전트 보안 글): footnote 제목이 “Supply Chain Compromise” 계열이었고, 본문 섹션은 “공급망 경유 공격”·”공급망 공격 시나리오”를 반복했다. footnote만 정정해도 본문이 존재하지 않는 공급망 공격 기사를 계속 암시했다. 커밋 c77ab1d에서 footnote와 본문 호응 키워드를 동시에 재구성했다.

합성 메커니즘: AQ는 footnote 제목을 먼저 만들고, 본문이 그 제목의 핵심 단어와 일치하도록 작성한다. 결과적으로 footnote-본문 간 의미 일관성이 높다 — 그러나 그 footnote 자체가 fabrication이면 본문도 오염된다.

차단 가드레일: CHK-5 키워드 호응 검사. footnote 정정 시 본문 키워드도 함께 재검토해야 한다.

1
2
3
4
# CHK-5: 출처 호응 키워드 검사
grep -nE '보고서|Report|Survey|Postmortem|연구|분석' <파일>
# 매칭 주변 키워드가 이슈 실제 출처와 의미 일치하는지 확인
# 가짜 footnote 제목에서 유래한 전문 용어가 본문에 반복되는지 검토

5. 패턴 D — 미허용 외부 출처 임의 추가

시그널: 이슈 “참고” 섹션에 없는 출처가 footnote 또는 참고 링크로 등장한다.

발생 사례:

  • PR #108 (AI 코딩 에이전트 Evals 글): B등급 섹션에 OpenAI Evals, HELM, Hamel Husain, Brainlid가 추가됐다. 이슈 권장 소스 목록에 없던 출처들이다. 커밋 a99a023에서 이슈 권장값으로 재배치됐다.

합성 메커니즘: AQ는 주제와 관련이 있고 권위 있어 보이는 출처를 스스로 보충한다. 이슈가 명시한 출처만으로는 불충분하다고 판단하는 것으로 보인다. 실재하는 출처라도 이슈 검증 범위 밖이면 환각 위험 영역에 놓인다.

차단 가드레일: 가드레일 12조 — 이슈에 정의된 footnote 슬롯 외 새 footnote 추가 금지. CHK-3으로 이슈에 없는 도메인을 자동 검출한다.

1
2
3
4
# CHK-3: 이슈에 없는 외부 출처 임의 추가 검사
# PR이 사용한 도메인 집합을 추출하고 이슈 권장 도메인 집합과 set diff
grep -oE 'https?://[a-z0-9.-]+' <파일> | sort -u
# 이슈 권장 도메인에 없는 항목이 임의 추가 후보

패턴 D와 관련된 평가 신뢰도 문제는 Evals 글에서 다룬 골든셋 설계와 구조적으로 유사하다 — 평가 기준이 검증되지 않은 입력 데이터를 걸러내지 못하는 것과 같은 구조다.


6. 패턴 E — 공식에 없는 수치를 공식 귀속

시그널: 특정 기관·공식 문서에 귀속된 수치가 등장하는데, 실제 출처에 그 수치가 없다.

발생 사례:

  • PR #110 (CLAUDE.md·AGENTS.md 글): “Anthropic 공식이 CLAUDE.md 200 라인 권장”으로 기술됐다. 실제 공식 표현은 “short and human-readable”·“concise” 뿐이며 200이라는 숫자가 없다. 커밋 664f9bf에서 “커뮤니티 통념”으로 격하됐다. (CLAUDE.md·AGENTS.md 설계 패턴 글 참조)
  • PR #121 (AI 코딩 벤치마크 글): 임의 50–70%대 수치와 Diamond 임계값이 출처 귀속 없이 등장했다. 커밋 cde09dc에서 일반화 표현으로 수정됐다.

합성 메커니즘: AQ는 맥락상 그럴듯한 수치를 만들고 가장 관련성 높은 출처에 귀속시킨다. “200 라인”은 CLAUDE.md 논의에서 자주 언급되는 맥락 수치이기 때문에 Anthropic 공식으로 착각하기 쉽다.

차단 가드레일: CHK-4 수치 검사. 수치 옆 footnote가 A등급 출처인지, 그 출처 페이지에 해당 수치가 실제로 존재하는지 WebFetch로 확인한다.

1
2
3
4
# CHK-4: 임의 수치 검사
grep -nE '[0-9]+\s*(%|배|건|회|명|줄|라인)' <파일>
grep -nE '\$[0-9]+|ACU|/월|/month' <파일>
# 각 수치에 인접 A등급 footnote가 있는지, 그 footnote 페이지에 해당 수치가 있는지 확인

7. 패턴 F — 영문 직접 인용 + 자기 고백 footnote

시그널: 영문 큰따옴표 직접 인용이 등장하고, 같은 footnote에 “요지를 발췌”·”핵심 의미” 류의 자기 인지 문구가 붙어 있다.

발생 사례:

  • PR #99 (AI 코드 리뷰 자동화 글, 1차·2차 사이클 이전): 영문 큰따옴표 직접 인용과 함께 footnote에 “위 인용은 핵심 요지를 발췌한 것” 이라는 문구가 함께 기록됐다. AQ가 스스로 fabrication을 인지한 셈이다. 커밋 c0d4208에서 인용 제거 및 출처 정정됐다.

합성 메커니즘: AQ는 영문 직접 인용의 정확성을 보장할 수 없어, 패러프레이즈임을 미리 밝히는 면책 문구를 footnote에 삽입한다. 이 자기 고백 문구가 오히려 “나는 이 인용이 fabrication일 수 있음을 안다”는 신호가 된다.

차단 가드레일: 가드레일 1조 — 직접 인용은 A등급 출처에서만 허용. CHK-1로 자동 검출한다.

1
2
3
4
# CHK-1: 영문 큰따옴표 직접 인용 fabrication 검사
grep -nE '"[A-Z][a-zA-Z][^"]{15,}"' <파일>
# 매칭 결과의 각 인용에 대해 인접 footnote가 A등급 출처인지 확인
# footnote에 "발췌", "요지", "핵심 의미" 등 자기 인지 문구가 있으면 거의 확실한 fabrication

패턴 F는 Prompt Injection 방어 글에서 다룬 신뢰 경계 문제와 구조가 유사하다 — 에이전트가 자체 출력의 신뢰도를 스스로 낮추는 신호를 텍스트 안에 남긴다.


8. 패턴 G — 공식 API·CLI·라이브러리 인터페이스 환각 ⭐

패턴 G는 CHK-1~5로 잡히지 않는다. 환각의 형태가 출처 URL·수치가 아니라 파라미터 이름·CLI 플래그·YAML 필드명이기 때문이다. 2차 사이클에서 처음 식별됐으며 3건이 연속 발생했다.2

발생 사례 1 — PR #118 (Claude Code GitHub Actions 글):

  • 액션 입력 파라미터 표에 direct_prompt, custom_instructions, max_turns, timeout_minutes를 별도 파라미터로 명시했다.
  • 실제 v1.0 GA 구조: prompt 하나 + claude_args로 모든 CLI 옵션을 통합. direct_prompt·custom_instructions는 v0 베타에서 v1.0에 제거된 파라미터다.
  • 본문이 v0→v1 마이그레이션 표를 완전 반대 방향으로 작성했다.
  • 커밋 6661ca2에서 공식 표기 기준으로 전면 정정됐다. (GitHub Actions 통합 글 참조)

발생 사례 2 — PR #120 (Claude Code Skills 글):

  • type: reference·type: task frontmatter 필드, context: inject·isolated 값, max-tokens 한도, `` 템플릿 변수가 본문에 도배됐다.
  • 실제 공식 frontmatter에 type·max-tokens 필드는 존재하지 않는다. 동적 치환은 백틱 문법(!`<command>`)을 사용한다.
  • 커밋 850b141에서 공식 ‘Extend Claude with skills’ 문서 기준으로 전면 재작성됐다. (Skills 시스템 2026 글 참조)

발생 사례 3 — PR #122 (GitHub Spec Kit 글):

  • specify specify, specify plan, specify tasks, specify implement를 CLI 커맨드로 묘사했다.
  • 실제: 이들은 모두 슬래시 커맨드 /speckit.specify, /speckit.plan 등이다. specify CLI는 init·extension·preset만 가진다.
  • 커밋 874d885에서 실제 슬래시 커맨드로 정정됐다.

공통 합성 메커니즘: 비슷한 이름·구조의 가짜 인터페이스를 추측해 채운다. CLI vs 슬래시 커맨드 구분, v0 → v1 마이그레이션 방향, underscore vs hyphen 표기법 혼동이 전형적이다.

차단 가드레일: CHK-6 + 공식 docs URL WebFetch. 이슈 단계의 footnote 슬롯만으로는 부족하다 — 출처 URL을 제공해도 AQ가 그 문서의 내용을 재해석해 가짜 파라미터를 만들기 때문이다.

1
2
3
4
5
# CHK-6: 공식 API·CLI·라이브러리 인터페이스 환각 검사
grep -nE '^\s*[a-z_-]+:|--[a-z-]+|/[a-z][a-z.-]+|\{\{[^}]+\}\}' <파일>
# 각 식별자에 대해:
# 1. 인접 footnote가 공식 docs URL을 가리키는가
# 2. WebFetch로 해당 docs URL에서 식별자 실재 여부 확인

에이전트 하네스 설계에서도 같은 원칙이 적용된다.3 에이전트가 인터페이스를 추측하게 허용하는 순간 fabrication의 문이 열린다 — 공식 문서 URL을 제공하는 것만으로는 충분하지 않다.


9. 1차 vs 2차 사이클 비교 표

항목1차 사이클 (PR #106–#110)2차 사이클 (PR #117–#122)
이슈 번호#101–#105#111–#116
생성 포스트 수5편6편
정정 커밋 수4건6건
패턴 A 발생2건 (#106, #107)2건 (#117, #119)
패턴 B 발생1건 (#107)1건 (#119)
패턴 C 발생1건 (#107)0건
패턴 D 발생1건 (#108)0건
패턴 E 발생1건 (#110)1건 (#121)
패턴 F 발생0건0건
패턴 G 발생0건3건 (#118, #120, #122)
주요 가드레일 추가footnote 슬롯 사전 정의CHK-6 + WebFetch 자동 검증

관찰:

  • 패턴 C·D: 1차에서 발생 → 2차에서 0건. footnote 슬롯 사전 정의 규칙이 효과를 냈다.
  • 패턴 G: 1차 0건 → 2차 3건. 인터페이스 복잡도가 높은 주제(GitHub Actions, Skills, Spec Kit)가 2차에 집중됐기 때문으로 보인다.
  • 패턴 A·B·E: 두 사이클 모두 꾸준히 발생했다. footnote 슬롯 강화로도 완전 차단되지 않았다.
  • 패턴 F: 1차·2차 공식 사이클 외 PR #99에서 1건 발생했다. 가드레일 1조 인지 후 재발하지 않았다.

정정 커밋 수가 2차(6건) > 1차(4건)인 것은 가드레일 약화가 아니다. 2차 주제(GitHub Actions·Skills·Spec Kit)가 공식 인터페이스 정확도 요구가 높았고, CHK-6이 추가됨으로써 이전에는 놓쳤을 환각도 잡아냈기 때문이다.


10. 다음 가드 — 자동화의 한계와 이중 구조

이중 구조의 효과

본 파이프라인은 작성 단계 가드(write-aq-issue.md) + 사후 검수 가드(audit-aq-pr.md)의 이중 구조다.12 두 스킬의 역할 분리는 명확하다:

  • write-aq-issue.md: 이슈에 완성된 footnote 슬롯을 박아 AQ가 URL을 재작성하지 못하게 막는다. 패턴 A·B·C·D를 발생 전 차단하는 데 효과적이었다.
  • audit-aq-pr.md: PR 단계에서 CHK-1~6으로 발생한 환각을 잡는다. 특히 CHK-6은 2차 사이클에서 추가된 이유가 있다 — 이슈에 정확한 URL이 있어도 AQ가 그 URL의 공식 문서를 재해석해 가짜 파라미터를 만든다. 출처 URL 제공이 내용 환각을 막지 않는다.

Anthropic의 운영 사고 회고에서도 에이전트가 신뢰 경계 내 도구를 예상과 다르게 조합할 때 사고가 발생하는 패턴이 반복된다.4 가드레일은 단일 레이어보다 이중 구조가 더 강건하다.

자동화 한계 — 사람 판단이 필요한 영역

CHK-1~6과 WebFetch를 조합해도 다음은 자동 검출이 불가하다:

  1. 본문 주장 자체의 사실성: 출처 존재 여부와 본문 주장의 정확성은 별개다. “URL은 맞는데 내용이 틀린” 경우는 grep으로 잡히지 않는다.
  2. 의역 vs 가공의 경계: B등급 출처의 핵심 의미를 따옴표 없이 왜곡하는 경우는 CHK로 검출 불가하다.
  3. 신조어 귀속 정확성: 특정 키워드가 어느 연구·기사에서 유래했는지는 LLM 또는 사람 판단이 필요하다.

audit-aq-pr.md 스킬은 스스로 “1차 패스”임을 명시한다.2 의심 등급 상승 항목은 사람 또는 추가 LLM 레이어가 마무리한다. 사람 검수가 완전히 사라지는 파이프라인은 현재 이 가드레일 구조로는 지지되지 않는다.


마치며

7가지 패턴을 시그널·사례·차단 명령으로 요약하면:

패턴시그널주요 사례차단 CHK
A루트 URL + 그럴듯한 가짜 제목PR #107, #119CHK-2
B존재하지 않는 도메인 합성PR #107, #119CHK-2
C본문 키워드가 가짜 footnote와 의미 호응PR #107CHK-5
D이슈에 없는 외부 출처 임의 추가PR #108CHK-3
E임의 수치를 공식 기관에 귀속PR #110, #121CHK-4
F영문 직접 인용 + 자기 고백 footnotePR #99CHK-1
G공식 인터페이스 이름 추측·날조PR #118, #120, #122CHK-6

이 도감의 목적은 어떤 패턴이 어떤 시그널로 나타나는지 인지하는 것이다. 실제 파이프라인을 운영하면 사용하는 모델·주제·이슈 작성 방식에 따라 패턴 분포가 달라진다. 이 7가지는 하나의 출발점이다.


관련 글:


참고

  1. 본 블로그의 write-aq-issue.md 스킬. 본 저장소 .claude/skills/write-aq-issue.md 참조. ↩︎ ↩︎2

  2. 본 블로그의 audit-aq-pr.md 스킬. 본 저장소 .claude/skills/audit-aq-pr.md 참조. ↩︎ ↩︎2 ↩︎3 ↩︎4

  3. Anthropic Engineering, “Effective harnesses for long-running agents”, 2025-11-26. https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agents. 장기 실행 에이전트의 가드레일 설계. ↩︎

  4. Anthropic Engineering, “A postmortem of three recent issues”, 2025-09-17. https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues. 모델 회사 관점의 회귀·운영 사고 패턴 회고. ↩︎

This post is licensed under CC BY 4.0 by the author.