AI 코딩 벤치마크 가이드 — SWE-bench·SWE-Lancer·Aider 리더보드 2026
SWE-bench 가족·SWE-Lancer·Aider 리더보드 3종의 측정 대상과 한계를 A등급 1차 자료에 근거해 정리한다. 외부 벤치마크와 자체 evals의 책임 분리, 시점·셋·메트릭 3요소 독해법을 함께 안내한다.
들어가며
“Claude 4가 SWE-bench 70%를 달성했다”는 헤드라인을 보고 나서, 팀에 AI 코딩 에이전트를 도입했다가 기대에 미치지 못해 당혹스러웠던 경험이 있다면 혼자가 아니다.
벤치마크 점수와 실전 성능 사이의 간극은 점수 자체가 틀렸기 때문이 아니다. 점수가 무엇을 측정했는지를 읽지 않았기 때문이다. SWE-bench Verified 500개 태스크의 70%는 SWE-bench Full 2,294개 태스크의 70%와 다르고, 두 숫자 모두 여러분의 실제 코드베이스와는 또 다르다.
이 글은 현재 공인된 AI 코딩 벤치마크 3종(SWE-bench 가족, SWE-Lancer, Aider 리더보드)의 측정 대상·방법론·한계를 A등급 1차 자료에 근거해 정리한다. 점수를 읽는 3요소(시점·셋·메트릭)를 갖추면, 다음 벤치마크 헤드라인도 정확하게 해석할 수 있다.
자체 evals를 팀에 도입하는 방법은 이 글의 범위 밖이다. AI 코딩 에이전트 평가(Evals) — Anthropic Evals 프레임으로 회귀 잡기에서 별도로 다룬다.
목차
- 자체 evals와 외부 벤치마크의 책임 분리
- AI 코딩 벤치마크 지형도
- SWE-bench 가족 — GitHub 이슈 해결 능력 측정
- SWE-Lancer — 현실 프리랜서 업무 난이도 측정
- Aider 리더보드 — 실전 코딩 편집 3종 측정
- 공통 한계 — 벤치마크가 측정하지 않는 것
- Reader’s Guide — 점수를 읽는 3요소
- 다음 한 걸음 — 내 상황에 맞는 벤치마크 매트릭스
- 참고
자체 evals와 외부 벤치마크의 책임 분리
외부 벤치마크와 자체 evals는 서로 다른 질문에 답한다.
외부 벤치마크는 “이 모델이 표준화된 조건에서 얼마나 잘하는가”를 측정한다. 독립적인 연구자가 설계한 고정된 태스크 셋, 공개 리더보드, 재현 가능한 평가 절차가 특징이다. 모델 간 비교와 시계열 추이를 보는 데 유용하다.
자체 evals는 “이 모델이 우리 코드베이스와 우리 워크플로우에서 얼마나 잘하는가”를 측정한다. 팀이 직접 설계한 골든셋, 실제 업무를 반영한 태스크, CI/CD 회귀 게이트가 특징이다.
두 가지는 상호 보완적이다. 외부 벤치마크가 높은 모델이 자체 evals에서도 반드시 잘하리라는 보장은 없다. 반대로, 자체 evals에서 검증된 설정이 외부 리더보드에서 상위에 없을 수도 있다.
외부 벤치마크는 모델 선택의 초기 필터다. 자체 evals는 선택된 모델이 우리 환경에서 퇴행하지 않는지 감시한다.
책임 분리의 실천:
| 질문 유형 | 도구 | 참고 |
|---|---|---|
| 어떤 모델을 후보로 올릴까? | 외부 벤치마크 | SWE-bench, Aider 리더보드 |
| 프롬프트 변경 후 회귀가 생겼나? | 자체 evals | 골든셋 + CI 게이트 |
| 모델 업그레이드가 안전한가? | 자체 evals | 회귀 게이트 임계값 |
| 경쟁사 모델과 객관적으로 비교하려면? | 외부 벤치마크 | 시점·셋·메트릭 명시 |
AI 코딩 벤치마크 지형도
현재 주요 AI 코딩 벤치마크는 크게 세 계열로 구분된다.
flowchart TD
ROOT["AI 코딩 벤치마크"] --> A["GitHub 이슈 해결\n저장소 수준"]
ROOT --> B["현실 프리랜서 업무\n경제적 가치 포함"]
ROOT --> C["코드 편집 정확도\n함수·파일 수준"]
A --> A1["SWE-bench Full\n2,294 tasks · Python"]
A --> A2["SWE-bench Verified\n500 tasks · 수작업 검증"]
A --> A3["SWE-bench Lite\n300 tasks · 고빈도 선별"]
A --> A4["SWE-bench Multilingual\nPython 이외 언어 확장"]
A --> A5["SWE-bench Multimodal\n이미지 컨텍스트 포함"]
B --> B1["SWE-Lancer IC\n구현 태스크 · USD 환산"]
B --> B2["SWE-Lancer PM\n사양 생성 태스크"]
B --> B3["Diamond Split\n$500K 이상 고가 서브셋"]
C --> C1["Aider Polyglot\n다국어 코딩"]
C --> C2["Aider Code Editing\n패치 정확도"]
C --> C3["Aider Refactoring\n구조 개선"]
style A fill:#4dabf7,color:#000
style B fill:#69db7c,color:#000
style C fill:#fcc419,color:#000
style ROOT fill:#dee2e6,color:#000
각 계열은 서로 다른 난이도 축을 커버한다.
- SWE-bench 가족: GitHub 오픈소스 저장소의 실제 이슈를 닫는 패치를 생성한다. 저장소 전체 맥락 파악, 멀티 파일 수정, 기존 테스트 통과가 요구된다.
- SWE-Lancer: 실제 Upwork 프리랜서 계약에서 가져온 업무를 달러 가치로 환산해 평가한다. 실전 경제적 가치를 직접 측정한다는 점이 차별점이다.
- Aider 리더보드: 코드 편집 정확도에 집중한다. 더 좁고 명확하게 정의된 태스크로 모델 간 편집 품질을 비교한다.
SWE-bench 가족 — GitHub 이슈 해결 능력 측정
기원과 설계 원칙
SWE-bench는 2023년 Carlos Jimenez 외 연구자들이 발표한 벤치마크다.1 핵심 아이디어는 단순하다: GitHub의 인기 Python 오픈소스 저장소에서 실제로 닫힌 이슈와 그 이슈를 해결한 PR을 수집하고, 모델이 그 이슈만 보고 동일한(또는 동등한) 패치를 생성할 수 있는지 테스트한다.2
평가 방식:
- 이슈 설명과 저장소 코드를 모델에게 제공한다
- 모델이 패치(diff)를 생성한다
- 저장소의 기존 테스트 스위트를 패치 적용 후 실행한다
- 테스트가 통과하면 “resolved(해결됨)”로 카운트한다
이 방식의 강점은 자동 채점이다. 사람이 패치 품질을 일일이 판단할 필요 없이, 저장소 자체의 테스트가 정답 기준이 된다.
4가지 서브셋
SWE-bench는 현재 4가지 주요 서브셋을 제공한다.3
| 서브셋 | 특징 |
|---|---|
| Full | 전체 셋. 공식 비교 기준은 Verified로 이동하는 추세 |
| Lite | 자기완결적(self-contained) 이슈 선별. 빠른 비교에 사용 |
| Verified | 500 problems2 — SWE-bench 팀이 수작업으로 품질 검증한 서브셋, 현재 리더보드 메인 기준 |
| Multilingual | Python 이외 언어로 확장 |
(각 서브셋의 정확한 태스크 개수는 swebench.com 공식 페이지에서 확인하라.)
Multimodal 버전은 이슈 설명에 스크린샷·다이어그램 등 이미지가 포함된 태스크를 다루며, 별도의 멀티모달 역량 평가에 활용된다.
리더보드에서 “SWE-bench 점수”라는 표현을 볼 때, Verified인지 Lite인지 Full인지를 반드시 확인해야 한다. 셋에 따라 순위가 달라질 수 있다.
점수 읽기 — 시점 명시 원칙
SWE-bench Verified 점수는 새 모델·새 스캐폴딩이 제출될 때마다 갱신된다. 본 글은 구체적 수치를 본문에서 인용하지 않는다. 의사결정에 활용할 때는 swebench.com 리더보드에서 최신 수치를 직접 확인한다.3 인용 시에는 모델 ID·캡처 날짜·서브셋·스캐폴딩 포함 여부 4가지를 함께 표기하는 것을 원칙으로 한다.
점수 해석 시 주의사항:
- 스캐폴딩 포함 여부: 모델 단독(zero-shot) 점수와 SWE-agent·Moatless 등 스캐폴딩을 추가한 점수는 다르다. 리더보드 항목마다 사용한 에이전트 프레임워크가 명시된다.
- 컨텍스트 제공 방식: 전체 저장소를 제공하는가, BM25 검색으로 관련 파일만 추출하는가에 따라 점수가 달라진다.
- 평가 시점: 학습 데이터 컷오프 이후 추가된 이슈만 포함되지 않으면 데이터 누출 위험이 있다(→ 공통 한계 참조).
SWE-Lancer — 현실 프리랜서 업무 난이도 측정
설계 배경
SWE-Lancer는 2025년 OpenAI 연구팀이 발표한 벤치마크다.4 기존 SWE-bench와 다른 축을 측정하고자 했다: GitHub 이슈 해결 능력이 아니라, 실제 돈이 오가는 프리랜서 계약을 완수하는 능력.
논문은 Upwork 플랫폼의 실제 프리랜서 소프트웨어 엔지니어링 태스크 “1,400+” 개를 수집했고, 태스크 단가는 “$50 bug fixes to $32,000 feature implementations” 범위로 명시되어 있다 (총 환산액 약 $1M).4 각 태스크에 실제 계약 금액이 달러로 태깅되므로, 성공률을 “달성한 계약 금액의 합”으로도 표현할 수 있다.
IC 트랙과 PM 트랙
SWE-Lancer는 두 개의 트랙으로 구성된다.4
IC(Individual Contributor) 트랙
- 구현 태스크: 클라이언트의 요구사항을 받아 실제로 코드를 수정·추가한다
- 평가 방식: 제공된 테스트 스위트 통과 여부 (SWE-bench와 유사)
- 난이도 특징: 요구사항이 불명확하거나 기존 코드와 통합이 필요한 경우 포함
SWE Manager 트랙
- 관리자형 태스크: 논문은 “models choose between technical implementation proposals” 즉 모델이 여러 기술 제안 중에서 선택하는 방식으로 평가
- 비교 기준: 원래 고용된 매니저의 실제 선택과 대조
Diamond Split
논문은 공개 평가 split으로 “SWE-Lancer Diamond” 를 함께 공개했다.4 Diamond Split의 정확한 임계값·태스크 개수는 abstract에 명시되어 있지 않으므로, 정확한 수치는 저장소(openai/SWELancer-Benchmark) 또는 페이퍼 본문에서 확인한다.5
공식 결론
원 논문 abstract의 결론은 명확하다 — 당시 frontier 모델들도 대다수의 태스크를 풀지 못했다: “Frontier models are still unable to solve the majority of tasks.”4 본 글 작성 시점의 최신 점수는 저장소에서 확인한다.5
SWE-Lancer는 테스트 스위트 통과 외에 경제적 가치 달성 여부를 측정한다는 점에서 SWE-bench와 다르다. 같은 “% resolved” 숫자라도 두 벤치마크에서 의미하는 난이도가 다르다.
Aider 리더보드 — 실전 코딩 편집 3종 측정
설계 철학
Aider 리더보드는 AI 코딩 어시스턴트 도구 aider의 개발팀이 운영하는 리더보드다.6 SWE-bench와 달리 저장소 전체 맥락이 아니라, 코드 편집 정확도에 초점을 맞춘다. 더 좁고 반복 가능한 태스크로 모델의 코딩 편집 역량을 비교하는 데 목적이 있다.
세 개의 독립 리더보드로 구성된다.
Polyglot 리더보드
다국어(Polyglot) 코딩 능력을 평가한다.6 Python 이외에 JavaScript, TypeScript, Java, Go, Rust 등 다양한 언어에서 정확한 코드 편집을 수행하는지 측정한다.
- 태스크 유형: 주어진 코드 파일에 특정 변경을 가하는 편집 태스크
- 평가 기준: 변경 후 테스트 통과 여부
- 활용 시점: 다국어 코드베이스에서 모델을 선택할 때
Code Editing 리더보드
코드 편집의 기본 정확도를 평가한다.6 함수 추가, 버그 수정, 인터페이스 변경 등 전형적인 코드 편집 태스크를 얼마나 정확하게 수행하는지 측정한다.
- 태스크 유형: 명확하게 정의된 코드 변경 요청
- 평가 기준: 정확한 diff 생성 여부
- 활용 시점: 코딩 어시스턴트의 기본 편집 정확도를 비교할 때
Refactoring 리더보드
구조적 개선 태스크를 평가한다.6 기존 동작을 유지하면서 코드 구조를 개선하는 리팩터링 태스크에서 모델의 성능을 측정한다.
- 태스크 유형: 기능 보존을 전제로 한 구조 개선
- 평가 기준: 기존 테스트 유지 + 리팩터링 목표 달성
- 활용 시점: 레거시 코드 정리나 구조 개선 업무에 AI를 활용할 때
Aider 리더보드 특이사항
Aider 리더보드는 모델이 diff를 얼마나 정확하게 따르는가(instruction following)도 암묵적으로 평가한다. 코드 편집 어시스턴트 맥락에서는 지시사항을 정확히 따르는 모델이 실전에서도 유용하기 때문이다.
세 리더보드의 점수는 같은 모델이어도 편차가 있을 수 있다. 편집 정확도와 다국어 능력, 리팩터링 능력이 반드시 비례하지 않는다는 점을 보여준다.
본 글 작성 시점(2026-06) 기준 최신 리더보드 순위는 aider.chat에서 확인한다.6
공통 한계 — 벤치마크가 측정하지 않는 것
세 벤치마크 계열 모두에 공통적으로 적용되는 한계가 있다. 점수를 해석할 때 이 한계를 인식하면 과잉 해석을 피할 수 있다.
1. 데이터 누출(Contamination) 위험
모델이 학습 과정에서 벤치마크 태스크 또는 그 해법을 이미 본 경우, 점수가 실제 능력을 과대평가한다. SWE-bench 연구팀은 훈련 데이터 컷오프를 기준으로 이슈 수집 시점을 관리하지만,1 모델 제공사가 컷오프 이후 크롤링한 데이터까지 학습에 포함하면 검증이 어려워진다.
벤치마크 공개 이후 같은 태스크로 훈련한 모델의 점수는 순수한 일반화 능력이 아닐 수 있다.
2. 패치 일치(Patch Match) 한정
SWE-bench와 SWE-Lancer IC 트랙은 모두 “테스트 통과”를 성공 기준으로 삼는다. 이는 자동화의 강점이지만 동시에 한계다.
- 테스트가 없거나 미비한 코드베이스의 이슈는 평가하기 어렵다
- 테스트는 통과하되 코드 품질이 낮은(hard-coded magic value 삽입 등) 패치도 성공으로 카운트될 수 있다
- 보안 취약점을 도입하지 않는지, 기술부채를 증가시키지 않는지는 측정하지 않는다
3. 멀티턴(Multi-turn) 상호작용 미반영
현실에서 개발자는 AI와 대화를 주고받으며 코드를 완성한다. 첫 응답이 틀리더라도 피드백을 반영해 수정할 수 있다. 대부분의 벤치마크 평가는 단일 패스(single-pass)로 수행된다. 반복적 상호작용에서 발휘되는 역량은 측정 대상이 아니다.
4. 비용(Cost) 미반영
같은 점수라도 API 호출 비용이 10배 차이 날 수 있다. 리더보드 점수에는 일반적으로 비용이 포함되지 않는다. 실전 도입 판단에는 코딩 도구 비용 최적화 전략을 참조해 별도로 계산해야 한다.
5. 도구 선택 제한 없음
SWE-bench에서 상위를 기록한 시스템 중 일부는 특정 스캐폴딩(에이전트 프레임워크, 파일 탐색 전략, 검색 인덱스)을 포함한다. 어떤 스캐폴딩이 포함됐는지가 모델 자체 능력보다 점수에 더 큰 영향을 미칠 수 있다.
Reader’s Guide — 점수를 읽는 3요소
벤치마크 점수를 인용하거나 의사결정에 활용할 때, 반드시 아래 3요소를 명시해야 한다.
flowchart LR
SCORE["점수 인용"] --> T["① 시점\nTimestamp"]
SCORE --> S["② 셋\nSet"]
SCORE --> M["③ 메트릭\nMetric"]
T --> T1["리더보드 캡처 날짜\n(월·연도)"]
T --> T2["모델 버전 명시\n(날짜 포함 ID)"]
S --> S1["어느 서브셋인가?\nVerified vs Lite vs Full"]
S --> S2["스캐폴딩 포함 여부?\nzero-shot vs agent"]
M --> M1["무엇이 '성공'인가?\ntest pass / $ earned / % correct"]
M --> M2["비용 포함 여부?"]
시점(Timestamp)
리더보드는 새로운 시스템이 제출될 때마다 갱신된다. “GPT-X가 1위”라는 정보는 언제 캡처했는지에 따라 현재와 다를 수 있다. 인용 시에는 반드시 “YYYY-MM 기준”을 명시한다.
모델 버전도 중요하다. claude-opus-4-7과 claude-sonnet-4-6은 같은 Claude 4 계열이지만 점수가 다르다. 날짜가 포함된 전체 모델 ID(claude-opus-4-7-20251101)를 사용해야 재현 가능한 비교가 된다.
셋(Set)
같은 벤치마크 이름이라도 서브셋에 따라 점수가 달라진다. SWE-bench Verified 60%와 SWE-bench Full 60%는 전혀 다른 의미다.
- Verified(500): 품질 검증된 태스크만 포함. 상위 모델이 유리한 경향
- Lite(300): 자기완결적 이슈 선별. 빠른 실험에 적합하지만 난이도 편향 있음
- Full(2,294): 전체 범위. 진입 장벽이 낮은 이슈와 고난도 이슈가 섞임
메트릭(Metric)
“성공”의 정의가 벤치마크마다 다르다.
| 벤치마크 | 성공 기준 | 단위 |
|---|---|---|
| SWE-bench | 기존 테스트 스위트 통과 | % resolved |
| SWE-Lancer IC | 제공 테스트 통과 | % tasks / $ earned |
| SWE-Lancer PM | LLM-as-judge 평가 | 점수 |
| Aider 리더보드 | 편집 후 테스트 통과 + 정확도 | % correct |
”% resolved”는 어떤 테스트를 얼마나 통과했는지에 따라 다르다. 100개 중 60개를 해결했더라도, 쉬운 60개인지 어려운 60개인지에 따라 실질 역량이 다르다.
다음 한 걸음 — 내 상황에 맞는 벤치마크 매트릭스
모든 벤치마크를 다 읽을 필요는 없다. 내 목적에 맞는 벤치마크를 선택하는 기준이다.
| 상황 | 우선 참고 벤치마크 | 확인할 세부 항목 |
|---|---|---|
| Python 오픈소스 코드베이스에서 이슈를 자동으로 닫고 싶다 | SWE-bench Verified | 스캐폴딩 포함 점수, Python 저장소 비율 |
| 다국어 코드베이스(JS/TS/Go 등)에 AI 도입을 검토한다 | SWE-bench Multilingual + Aider Polyglot | 해당 언어별 세부 점수 |
| 레거시 코드 리팩터링에 AI를 쓰고 싶다 | Aider Refactoring | 기능 보존율, 테스트 유지율 |
| AI가 생산하는 코드의 경제적 가치를 추정하고 싶다 | SWE-Lancer IC (Diamond Split) | 달러 환산 성공률 |
| PR 리뷰 자동화·사양 생성에 AI를 쓰고 싶다 | SWE-Lancer PM | LLM-as-judge 점수 |
| 코드 어시스턴트의 기본 편집 정확도를 비교하고 싶다 | Aider Code Editing | instruction-following 정확도 |
다음 단계:
- 외부 벤치마크에서 후보 모델 2–3개를 추린다 — 시점·셋·메트릭을 명시해 기록한다.
- 후보 모델로 자체 evals를 실행한다 — AI 코딩 에이전트 평가(Evals) 가이드의 골든셋 설계 패턴을 사용한다.
- 비용 대비 효과를 계산한다 — AI 코딩 도구 비용 최적화 전략으로 실제 API 비용을 추정한다.
- 도구 워크플로우를 결정한다 — Cursor vs Claude Code vs Cline 실전 비교에서 에디터 통합 방식을 선택한다.
벤치마크는 지도다. 지도가 아무리 정확해도 실제 지형은 직접 걸어봐야 알 수 있다.
참고
A등급 (본문 직접 인용 출처)
B등급 (방향성 참고용, 본문 링크만 사용)
- AI 코딩 에이전트 평가(Evals) — Anthropic Evals 프레임으로 회귀 잡기 — 자체 evals 골든셋 설계와 CI/CD 회귀 게이트 통합 가이드.
- AI 코딩 도구 비용 최적화 전략 2026 — 모델 라우팅·프롬프트 캐시·배치 처리 3축 비용 프레임워크.
- Cursor vs Claude Code vs Cline 실전 비교 2026 — AI 코딩 도구 워크플로우 철학·비용·자율성 축 비교.
관련 글:
- AI 코딩 에이전트 평가(Evals) — Anthropic Evals 프레임으로 회귀 잡기
- Claude Code 서브에이전트 패턴 — 병렬·위임·검증 아키텍처
- AI 코딩 도구 비용 최적화 전략 2026
Jimenez, C. E. et al., “SWE-bench: Can Language Models Resolve Real-World GitHub Issues?”, arXiv:2310.06770, 2023. SWE-bench의 설계 원칙, 데이터 수집 방법론, 초기 모델 성능 결과를 담은 원 논문. https://arxiv.org/abs/2310.06770 ↩︎ ↩︎2
swe-bench/SWE-bench GitHub 저장소. 평가 코드, 서브셋 정의, 데이터셋 접근 방법 포함. https://github.com/swe-bench/SWE-bench ↩︎ ↩︎2
SWE-bench 공식 리더보드 및 태스크 셋. https://www.swebench.com — 본 글 작성 시점(2026-06) 기준 최신 점수 참조. ↩︎ ↩︎2
Miserendino, S. et al., “SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?”, arXiv:2502.12115, 2025. 1,400개 Upwork 태스크 설계, IC·PM 트랙, Diamond Split, 주요 모델 성능 결과 포함. https://arxiv.org/abs/2502.12115 ↩︎ ↩︎2 ↩︎3 ↩︎4 ↩︎5
openai/SWELancer-Benchmark GitHub 저장소. 태스크 데이터, 평가 코드, 최신 결과 포함. https://github.com/openai/SWELancer-Benchmark ↩︎ ↩︎2
aider 코딩 어시스턴트 공식 리더보드 문서. Polyglot·Code Editing·Refactoring 3개 리더보드 정의, 평가 방법론, 모델별 점수 포함. https://aider.chat/docs/leaderboards/ ↩︎ ↩︎2 ↩︎3 ↩︎4 ↩︎5