AI의 새 병목은 생성이 아니라 ‘선택’이다

📅2026년 9월 7일 10:07 AM

#AI에이전트#멀티모델#AI연구#추론#GitHubCopilot#MetaAI#엣지AI

💡이 글의 요약

코딩 모델 라우팅부터 자율 연구와 엣지 추론까지, AI 경쟁의 중심이 더 큰 모델에서 더 나은 선택 구조로 이동하고 있습니다.

요약

AI 시스템의 성능을 가르는 질문이 바뀌고 있다. 이제는 하나의 모델이 얼마나 많은 답을 만들 수 있는가보다, 여러 답과 실행 경로 가운데 무엇을 고르고 무엇을 버릴 수 있는가가 중요해졌다. GitHub는 코딩 요청마다 모델과 검토 방식을 조합하고, Meta 연구진은 GPU를 쓰기 전에 실험 후보의 우선순위를 정하며, 자율 연구 시스템은 여러 에이전트가 발견을 공유해 다음 탐색 방향을 스스로 형성하도록 했다.

이 변화는 단순한 비용 절감 기법이 아니다. Google Research의 연구처럼 최신 모델은 사실을 저장하고도 질문 방식에 따라 꺼내지 못할 수 있다. NVIDIA의 엣지 배치 사례에서는 같은 모델도 양자화, 초안 모델, 실제 작업 유형에 따라 처리량과 적합성이 달라진다. 결국 모델 자체의 지능과 별개로 언제 더 생각할지, 누구에게 맡길지, 어떤 결과를 검증할지를 결정하는 계층이 제품 품질을 좌우한다.

다만 이것을 곧바로 완전한 자가개선으로 읽어서는 안 된다. 정답과 점수가 명확한 코딩·벤치마크·최적화에서는 선택 루프가 빠르게 성과를 내지만, 열린 연구 문제에서는 여전히 방향 감각과 판단력이 약하다는 반대 증거가 있다. 지금 확인되는 진전은 ‘AI가 모든 연구를 대신한다’가 아니라, 검증 가능한 범위에서 탐색과 자원 배분을 자동화하는 능력이 커졌다는 것이다.

코딩 AI는 모델이 아니라 실행 경로를 고른다

GitHub가 연구 프리뷰로 공개한 HydraFusion은 코딩 요청을 하나의 모델에 곧장 보내는 대신 세 가지 실행 패턴 가운데 하나를 선택한다. 비교적 단순한 문제는 한 모델이 바로 풀고, 불확실한 문제는 저비용 모델의 초안을 품질 관문에서 검사한 뒤 더 강한 모델로 넘긴다. 독립적인 시각이 필요하면 다른 모델 계열이 읽기 전용으로 비평하고 원래 모델이 한 번 수정한다.

GitHub의 오프라인 평가에서 HydraFusion은 TerminalBench 2.1 기준 Claude Opus 5 대비 검증된 과제 품질이 4.9%포인트 높고 추정 비용은 67% 낮았다고 보고됐다. 회사가 수행한 제한된 평가이므로 모든 저장소와 작업에 그대로 일반화할 수는 없다. 그래도 핵심은 분명하다. 가장 비싼 모델을 항상 호출하는 대신, 요청의 난도와 실패 신호에 따라 검토·승격 비용을 선택적으로 쓰는 방식이 실제 개발 도구의 기능으로 들어왔다.

개발팀 입장에서는 모델 순위표만 보는 구매 방식이 낡아질 수 있다는 뜻이다. 앞으로는 초안이 틀렸을 때 누가 감지하는지, 강한 모델로 넘어가는 기준이 무엇인지, 비평 모델이 저장소를 바꾸지 못하도록 권한이 분리됐는지까지 살펴야 한다. 품질은 모델 이름 하나가 아니라 라우팅 정책과 검증 경계의 합으로 측정해야 한다.

AI 연구의 승부는 어떤 실험을 버리느냐에 달렸다

Meta FAIR·옥스퍼드대·UCL 연구진의 Research Preference Model(RPM)은 연구 에이전트가 만든 후보를 전부 GPU에서 실행하지 않는다. 계획, 코드, 이전 실험 기록을 비교해 가장 유망한 후보 하나를 먼저 고른다. 별도 학습 없이 후보를 평가하는 방식과, 작은 파일럿 실험을 직접 실행한 뒤 고르는 방식이 제안됐다. 절대 성능을 맞히기보다 후보 간 상대 순위를 판단하도록 문제를 바꾼 것이 포인트다.

AIRS-Bench에서 두 방식은 평균 정규화 점수를 0.684에서 0.711과 0.729로 높였고, 기존 에이전트가 24시간에 도달한 성능을 약 15시간에 맞췄다. 연구진의 자체 벤치마크이자 아직 확장 검증이 필요한 결과지만, 생성 능력이 넘칠수록 실행 예산 배분이 병목이 된다는 점을 잘 보여준다. 아이디어를 더 많이 내는 것보다 어떤 아이디어에 비싼 실험 비용을 걸지 판단하는 편이 전체 속도를 더 크게 바꿀 수 있다.

이 구조는 기업의 AI 활용에도 직접 연결된다. 보고서 후보, SQL 쿼리, 디자인 시안, 코드 패치가 대량으로 만들어지는 환경에서는 생성량이 생산성이 아니다. 작고 싼 검증, 상대 비교, 명확한 탈락 기준을 앞단에 두지 않으면 조직은 AI가 만든 후보를 사람이 다시 읽는 데 더 많은 시간을 쓰게 된다.

여러 에이전트는 지시보다 발견을 공유한다

Meta는 차세대 자율 연구 시스템 AIRA₃가 NVIDIA의 Nemotron Model Reasoning Challenge에서 약 4,000개 팀 가운데 8위로 금메달을 받았다고 발표했다. 대회는 동일한 300억 매개변수 모델과 제한된 LoRA 어댑터, 공통 인프라, 비공개 최종 평가를 사용했다. NVIDIA의 대회 기록도 4,000개 팀 규모와 동일한 실행 조건을 확인한다. 다만 AIRA₃의 세부 논문과 코드는 아직 공개되지 않았으므로 시스템 성능에 대한 해석은 Meta의 발표 범위를 넘지 않아야 한다.

공개된 설명에서 흥미로운 부분은 중앙 컨트롤러가 없다는 점이다. 모델과 코딩 도구를 묶은 여러 장기 실행 에이전트가 격리된 환경에서 일하고, 포럼에는 가설과 발견을, 공유 파일 시스템에는 코드와 결과물을 남긴다. 각 에이전트는 다른 에이전트의 발견을 이어받을지 독립 경로를 탐색할지 스스로 정한다. 한 명의 감독자가 작업을 잘게 쪼개는 방식보다 연구 커뮤니티에 가까운 구조다.

하지만 외부 대회에서 높은 점수를 얻은 일과 열린 과학 문제를 해결하는 일은 다르다. 별도의 연구에서는 프런티어 에이전트가 미공개 논문의 핵심 문제를 맡아 엔지니어링 작업은 수행했지만, 연구 방향을 바꾸고 실패에서 되돌아가는 판단에는 실패했다. AIRA₃의 결과는 검증 함수가 명확한 경쟁 환경에서 협업 탐색이 강해졌다는 증거이지, 인간 연구자의 취향과 책임까지 자동화됐다는 증거는 아니다.

환각도 ‘모름’보다 ‘꺼내지 못함’의 문제다

Google Research와 Technion 연구진은 13개 모델에서 약 450만 개 응답을 분석해 사실 지식을 저장과 인출로 나눴다. WikiProfile의 2,150개 사실을 기준으로 GPT-5와 Gemini 3 Pro는 95~98%를 매개변수에 인코딩한 것으로 평가됐지만, 별도 추론 없이는 저장된 사실의 26~34%를 직접 회상하지 못했다. 더 큰 모델이 더 많은 지식을 담더라도 필요한 순간에 안정적으로 꺼내는 능력은 별개의 문제라는 뜻이다.

추론 단계를 사용하면 생각에 최적화된 모델은 직접 꺼내지 못한 저장 사실의 약 40~65%를 회복했다. 반면 애초에 인코딩되지 않은 사실을 추론으로 복구하는 비율은 훨씬 낮았다. 이 결과는 모든 질문에 긴 추론을 강제하라는 처방이 아니다. 연구진도 계산 비용이 드는 생각을 언제 호출해야 하는지는 아직 열린 문제라고 지적한다.

제품 설계에서는 오류의 원인을 먼저 분류해야 한다. 최신 정보가 없어서 틀렸다면 검색과 데이터 연결이 필요하지만, 표현이 달라져 인출에 실패했다면 질문 재구성, 후보 제시, 선택적 추론이 더 효과적일 수 있다. 모든 실패를 데이터 부족으로 간주하고 RAG만 덧붙이면 비용과 복잡성은 커지고 진짜 병목은 남는다.

더 작은 현장에도 선택 구조가 내려간다

선택의 중요성은 데이터센터 밖에서도 드러난다. NVIDIA는 Jetson에서 Nemotron 3.5 Lightning과 Qwen3.8-27B를 배치한 결과를 공개했다. 하나는 전체 300억 매개변수 가운데 토큰당 30억 개만 활성화하는 MoE 구조이고, 다른 하나는 270억 개를 모두 사용하는 밀집 모델이다. 전자는 응답이 많은 장기 실행 작업에, 후자는 횟수는 적지만 어려운 판단에 더 알맞다는 설명이다.

NVFP4 양자화와 초안 토큰을 본 모델이 검증하는 추측 디코딩을 결합했을 때 실험 구성에 따라 BF16 대비 최대 6.28배의 디코딩 처리량 향상이 보고됐다. 그러나 가장 빠른 초안 방식은 모델마다 달랐고, 글쓰기·추론·요약·검색 결합 작업에서도 속도가 달랐다. 일반 벤치마크 하나로 배치를 결정하지 말고 실제 센서 데이터, 도구 호출, 응답 길이로 검증해야 한다는 결론이다.

엣지 AI의 가치는 단순히 작은 모델을 기기에 넣는 데 있지 않다. 어떤 결정은 현장에서 즉시 처리하고, 어떤 작업은 더 강한 시스템으로 넘기며, 어떤 결과는 미리 정의한 테스트로 확인할지 정하는 운영 규칙이 함께 있어야 한다. 네트워크가 끊겨도 작동하고 민감한 데이터를 밖으로 보내지 않는 장점 역시 이 선택 구조가 정확할 때 비로소 안전한 제품 가치가 된다.

다음 경쟁력은 검증 가능한 선택이다

이번 흐름을 관통하는 공통점은 ‘더 많이’가 아니라 ‘더 적절하게’다. HydraFusion은 필요한 요청에만 비평과 강한 모델을 붙이고, RPM은 실행할 실험을 줄이며, AIRA₃는 공유된 발견을 바탕으로 탐색 경로를 분산한다. 지식 인출 연구는 추론을 언제 켜야 하는지 묻고, 엣지 배치는 작업에 따라 모델과 디코딩 방식을 달리해야 한다고 보여준다.

따라서 AI 제품의 핵심 지표도 평균 정답률 하나에서 벗어나야 한다. 저비용 경로가 통과한 비율, 강한 모델로 승격된 이유, 비평이 실제 오류를 잡은 비율, 후보를 버린 근거, 작업별 지연과 비용을 함께 기록해야 한다. 선택 계층이 보이지 않으면 비용 절감이 품질 저하를 숨기거나, 반대로 불필요한 다중 호출이 ‘에이전트’라는 이름으로 포장될 수 있다.

가장 현실적인 전략은 좁고 검증 가능한 루프부터 시작하는 것이다. 테스트가 있는 코드, 점수가 있는 최적화, 규칙이 명확한 문서 검사에서 선택 정책을 측정하고, 열린 판단이 필요한 단계에는 사람의 승인과 반례 탐색을 남겨두는 편이 좋다. 더 큰 모델은 계속 나오겠지만, 신뢰할 수 있는 AI 시스템은 결국 제한된 시간과 돈, 권한을 어디에 쓸지 설명할 수 있어야 한다.