
같은 제미나이가 3배 달라졌다, 모델 밖이 성능을 만든다
Gemini 4 Neon, Codex, Qwen Code가 동시에 보여준 결론은 같다. 에이전트 성능은 하네스·격리·검증 루프에서 완성된다.
요약
새 모델이 나올 때마다 점수와 토큰 가격이 먼저 비교된다. 그러나 Gemini 4 Neon은 같은 모델로도 소프트웨어 엔지니어링 평가가 12.8%에서 39.0%까지 달라질 수 있음을 보여줬다. 차이를 만든 것은 더 큰 모델이 아니라 지시문, 도구, 작업 상태와 실행 환경을 묶은 하네스였다.
OpenAI의 Performance Factory와 Qwen Code의 새 작업 방식도 같은 방향을 가리킨다. 에이전트가 원인을 찾고 코드를 고치는 능력만으로는 부족하다. 작업을 격리하고, 증거를 남기고, 별도 검증자가 반박하며, 사람이 병합 여부를 결정하는 운영 구조가 있어야 결과가 제품이 된다.
따라서 기업이 비교해야 할 단위도 모델 하나에서 전체 실행 시스템으로 바뀌어야 한다. 모델, 지시와 스킬, 도구와 상태, 격리된 작업공간, 검증과 승인까지 한 덩어리로 측정해야 실제 생산성을 알 수 있다.
Neon의 중요한 숫자는 61점보다 12.8와 39다
구글은 11월 18일 Gemini 4 Neon을 공개했다. 100만 토큰 컨텍스트를 지원하고 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러로 책정된 중간급 모델이다. Artificial Analysis의 독립 평가에서는 최고 추론 설정으로 Intelligence Index 61점을 기록해 최상위권에 올랐다.
하지만 운영자가 더 오래 봐야 할 숫자는 구글이 함께 공개한 소프트웨어 엔지니어링 결과다. 동일한 Neon이 간단한 SWE 하네스에서는 12.8%였지만 Google Antigravity 환경에서는 39.0%를 기록했다. 모델의 가중치가 세 배 좋아진 것이 아니라 계획 방식, 도구 사용, 컨텍스트 구성과 실행 루프가 달라졌다는 뜻이다.
독립 평가가 보여주는 비용과 시간도 이 해석을 보강한다. Neon은 높은 점수를 냈지만 Artificial Analysis의 한 작업당 비용은 6.44달러, 수행 시간은 약 21.5분이었고 출력 토큰은 동급 중앙값보다 훨씬 많았다. 단일 리더보드는 능력의 한 단면일 뿐, 실제 업무에서의 속도·비용·수용 가능한 결과까지 대신 설명하지 못한다.
코덱스 1,700건이 보여준 진단과 수정의 거리
OpenAI는 성능 경고가 뜨면 Codex가 자동으로 조사를 시작하는 Performance Factory를 공개했다. 작업은 경고에서 시작해 근본 원인 조사, 반대 증거를 찾는 별도 검토, 수정 제안, 엔지니어의 리뷰와 배포, 운영 복구 확인으로 이어진다. 각 단계의 상태와 증거는 한 에이전트의 대화창 밖에 저장돼 다른 에이전트와 사람이 이어받는다.
이 워크플로는 3개월 남짓 동안 1,700건이 넘는 조사를 추적하고 600건 이상의 근본 원인을 찾았다. 다만 OpenAI가 100개의 원인 제안을 수동 평가했을 때 정확 판정은 70%였고 나머지는 보완이 필요했다. 그래서 첫 설명을 그대로 믿지 않고 다른 세션이 가설을 깨뜨리는 적대적 검토가 필수 단계가 됐다.
더 중요한 고백은 수정이 진단보다 어렵다는 점이다. 제안한 변경이 필요 이상으로 복잡하거나 새 문제를 만들 수 있고, 캐시처럼 성능과 데이터 신선성의 교환이 필요한 결정은 사람이 맡는다. 자동화의 성숙도는 에이전트가 낸 코드의 양보다 틀린 원인을 되돌리고 위험한 수정을 멈출 수 있는 구조에서 드러난다.
작게 맞춘 어댑터가 큰 모델을 흔든다
Hugging Face에 공개된 Qwen3.8 27B용 Pi 어댑터는 모델과 실행 환경을 함께 맞추는 또 다른 실험이다. Pi 코딩 에이전트의 도구 형식과 작업 흐름에 맞춰 LoRA로 조정한 뒤, 제작자가 공개한 SWE-bench Pro 어려운 51개 과제 성능은 39.2%에서 64.7%로 올랐다. 생성 토큰은 최고 추론 설정의 기반 모델보다 약 4.5배 적었다.
이 결과를 범용 승리로 읽어서는 안 된다. 제작자 자체 평가이고 시도 횟수는 한 번이며, Pi 하네스에 맞춘 결과라 다른 에이전트나 모델 카드의 수치와 직접 비교할 수 없다. 그 한계까지 포함해도 중요한 신호는 남는다. 같은 기반 모델이 어떤 도구 문법과 행동 루프를 학습했는지에 따라 비용과 성공률이 함께 움직일 수 있다는 점이다.
운영 관점에서는 모든 업무에 하나의 거대한 범용 모델을 쓰는 전략만 고집할 이유가 줄어든다. 반복되는 좁은 작업이라면 작은 어댑터, 명시적인 도구 계약, 재현 가능한 평가 묶음을 함께 관리하는 편이 더 싸고 안정적일 수 있다. 모델 교체보다 실행 환경에 맞춘 조정이 더 큰 개선을 만들 가능성도 있다.
격리된 작업공간이 성능의 일부가 됐다
Qwen Code의 11월 19일 업데이트는 성능을 점수 대신 작업공간에서 다룬다. 신뢰된 Git 저장소에서 새 웹 셸 세션을 열면 기본적으로 격리된 worktree를 만들고, 완료한 변경은 별도 브랜치로 만들거나 로컬 작업공간에 넘길 수 있다. 여러 에이전트가 동시에 움직여도 같은 파일을 덮어쓰지 않게 만드는 장치다.
함께 추가된 diff 개요, 백그라운드 작업 표시, 훅의 실행·차단·소요 시간 지표도 같은 목적을 가진다. 에이전트가 무엇을 바꿨는지, 아직 무엇이 실행 중인지, 어떤 보호 장치가 작업을 멈췄는지를 사람이 빠르게 판단하게 한다. 이는 편의 기능이 아니라 실패를 국소화하고 복구 비용을 낮추는 실행 품질의 일부다.
에이전트 성능을 모델의 정답률로만 정의하면 이런 개선은 평가표에서 사라진다. 그러나 실제 팀에서는 충돌 없이 병렬 작업을 끝내고, 변경 근거를 검토하고, 문제가 생겼을 때 되돌릴 수 있어야 성공이다. 격리와 관찰 가능성은 지능을 보조하는 주변 기능이 아니라 지능을 안전하게 사용할 수 있게 만드는 핵심 능력이다.
개발자가 비교해야 할 단위
이제 코딩 에이전트를 비교할 때 다섯 층을 함께 봐야 한다. 첫째는 모델의 추론 능력, 둘째는 지시문과 재사용 스킬, 셋째는 도구와 작업 상태, 넷째는 격리된 작업공간, 다섯째는 별도 검증자와 사람의 병합 결정이다. 어느 한 층이 약하면 높은 모델 점수는 실제 저장소에서 쉽게 증발한다.
측정 방식도 바뀌어야 한다. 같은 저장소, 같은 테스트, 같은 시간·토큰 예산에서 완료율만 보지 말고 재시도와 되돌림 횟수, 사람이 검토한 시간, 최종 수용된 변경당 비용을 기록해야 한다. 하네스가 다르면 같은 모델 점수도 다른 제품이므로, 모델 교체 전후에는 전체 실행 조건을 고정한 자체 평가가 필요하다.
가장 현실적인 기본값은 좁은 작업을 격리된 공간에 맡기고, 결과를 독립된 검증 단계가 반박하게 하며, 배포 판단은 사람이 갖는 구조다. 모델 리더보드는 출발점으로 유용하지만 구매하고 운영해야 할 대상은 모델이 아니라 이 전체 시스템이다. 앞으로의 격차는 더 똑똑한 모델을 먼저 고르는 팀보다 모델 밖을 더 정교하게 설계한 팀에서 커질 가능성이 높다.
출처
- Introducing Gemini 4 Neon - Google (https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/)
- Gemini 4 Neon Model Card - Google DeepMind (https://deepmind.google/models/model-cards/gemini-4-neon/)
- Gemini 4 Neon Independent Analysis - Artificial Analysis (https://artificialanalysis.ai/models/gemini-4-neon/)
- How OpenAI’s Performance Factory keeps ChatGPT fast - OpenAI (https://openai.com/index/how-openai-performance-factory-keeps-chatgpt-fast/)
- Research acceleration and the jagged frontier - OpenAI (https://openai.com/index/research-acceleration-jagged-frontier/)
- Qwen Code Weekly Update 2026-11-19 - Qwen (https://qwenlm.github.io/qwen-code-docs/zh/blog/updates/weekly-update-2026-11-19/)
- Qwen3.8-27B Pi Adapted Model Card - Hugging Face (https://huggingface.co/matrixy/Qwen3.8-27B-pi-adapted)

