수학 난제와 초파리 뇌가 묻는다, AI 성과는 누가 증명하나

📅2026년 9월 13일 10:11 AM

#AI연구#나비에스토크스#커넥톰#AI에이전트#ToolGrad#HarnessDev#재현성#AI거버넌스

💡이 글의 요약

수학 증명 논란부터 공개 커넥톰과 에이전트 평가까지, AI의 경쟁 기준이 결과 발표에서 재현 가능한 증거로 이동하고 있습니다.

요약

AI가 내놓은 답이 커질수록 ‘정답인가’보다 더 어려운 질문이 따라온다. 어떤 자료와 실행 경로가 결과를 만들었는지, 다른 연구자도 확인할 수 있는지, 모델이 아니라 주변 도구가 만든 성과는 얼마인지가 그것이다. 이번에 공개된 수학 증명, 뇌 지도, 도구 학습과 에이전트 평가 방식은 서로 다른 분야처럼 보이지만 모두 이 질문으로 모인다.

오픈AI는 내부 시스템이 나비에-스토크스 밀레니엄 문제의 해법을 제시했다고 밝혔다. 그러나 형식 검증을 거쳤다는 사실과 수학계가 해법을 받아들였다는 사실은 같지 않다. 동시에 구글과 HHMI 자넬리아는 수컷 초파리의 뇌와 중추신경계 지도를 데이터로 공개했다. 하나는 거대한 계산이 만든 결론을 공동체가 확인해야 하는 사례이고, 다른 하나는 공동체가 다시 사용할 수 있는 관측 기반을 먼저 내놓은 사례다.

에이전트 분야에서도 같은 변화가 시작됐다. ToolGrad는 성공한 도구 경로에서 질문을 역으로 만드는 방식으로 학습 데이터를 구성했고, HarnessDev는 최종 답이 아니라 에이전트를 움직이는 실행 시스템 자체를 평가했다. Claude Code의 플러그인 평가는 기능을 켰을 때와 껐을 때의 차이를 측정한다. 이제 AI 제품과 연구의 설득력은 화려한 데모보다 증거가 남는 구조에서 나온다.

형식 검증은 끝이 아니라 시작이다

오픈AI는 내부 모델과 다수의 에이전트를 투입해 3차원 나비에-스토스 방정식에서 유한 시간 특이점이 생길 수 있음을 보이는 해법을 만들었다고 발표했다. 회사 설명에 따르면 에이전트가 답에 도달하는 데 약 88시간, GPT-6 Astra를 이용한 Lean 형식화와 확인에 17시간이 더 들었다. 해당 문제에만 약 270만 건의 메시지와 1,300억 개의 출력 토큰이 사용됐다는 수치도 공개했다.

이 숫자는 AI가 수학 연구의 탐색 규모를 얼마나 크게 확장할 수 있는지 보여준다. 하지만 계산량과 형식 검증은 학문적 승인 절차를 대체하지 않는다. 클레이 수학연구소 규정상 제안된 해법은 적격한 출판물에 실린 뒤 최소 2년이 지나고 세계 수학계의 일반적 수용을 얻어야 심사 대상이 된다. 따라서 지금 확인된 것은 ‘회사가 해법을 제안했고 기계적으로 형식화했다’는 사실이지, 밀레니엄 문제가 공식적으로 종결됐다는 사실이 아니다.

기여와 연구 데이터의 경계도 쟁점이다. 오픈AI는 관련 문제를 연구하던 트리스탄 벅마스터와 레벤트 알푀게의 작업을 보지 않았고, 조사 결과 벅마스터의 Codex 입력이 모델에 영향을 줄 수 없었다고 밝혔다. 반면 당사자들은 비공개 연구 방향이 경쟁의 출발 신호가 된 과정과 학문적 기여 인정 방식에 우려를 제기했다. 공개된 정보만으로 부정 이용을 단정할 수는 없지만, 연구 도구 제공자가 동시에 막대한 계산 자원을 가진 경쟁자일 때 필요한 데이터 경계와 이해상충 규칙이 충분하지 않다는 점은 분명해졌다.

앞으로 중요한 것은 ‘AI가 풀었다’는 문장보다 주장을 구성한 자료가 얼마나 잘 분리돼 있느냐다. 모델 버전, 프롬프트와 에이전트 간 전달 과정, 참고 문헌의 변화 이력, 형식 증명 파일, 인간 연구자의 개입 지점을 하나의 연구 기록으로 남겨야 한다. 그래야 성과의 속도가 빨라져도 검증과 공로 배분이 뒤처지지 않는다.

공개된 관측 기반은 다음 실험을 만든다

구글 리서치와 HHMI 자넬리아 연구진이 공개한 수컷 초파리 커넥톰은 다른 종류의 AI 성과를 보여준다. 연구진은 뇌와 복측신경삭을 포함해 16만6천 개가 넘는 뉴런과 1억2천500만 개의 시냅스 연결을 지도화했다. 뉴런 수 기준으로 가장 큰 완전 뇌 지도이며, 전문가들이 주석을 달고 직접 확인한 결과다.

핵심은 기록 경신만이 아니다. 지도는 Neuroglancer로 살펴보고 내려받을 수 있으며, 관련 논문과 데이터셋도 연결돼 있다. 연구자는 발표문의 결론을 믿는 데서 멈추지 않고 특정 회로를 추적하거나 수컷과 암컷의 차이를 비교하고, 시각·미각·사회 행동을 다룬 후속 연구에 같은 기반을 사용할 수 있다. AI는 전자현미경 이미지에서 신경 구조를 3차원으로 재구성하는 데 쓰였지만, 최종 자산은 재사용 가능한 과학 인프라로 남았다.

물론 연결 지도가 곧 살아 있는 뇌의 완전한 시뮬레이션은 아니다. 정적인 배선만으로 신경 활동과 행동을 모두 설명할 수 없고, 지도 제작에도 수년간의 사람 확인 작업이 필요했다. 그래서 이 성과의 가치는 ‘디지털 초파리’라는 과장된 표현보다 관측 자료, 자동 재구성, 사람의 오류 수정이 어떤 순서로 결합됐는지 공개한 데 있다.

정답에서 질문을 만들면 무엇이 달라지나

구글의 ToolGrad는 에이전트 학습 데이터가 실패하는 지점을 뒤집었다. 기존 방식은 먼저 가상의 사용자 질문을 만들고 수많은 API 가운데 해결 경로를 찾는다. 적절한 경로가 없으면 탐색 비용만 쓰고 데이터는 버려진다. ToolGrad는 실행 가능한 도구 호출 연쇄를 먼저 만든 뒤, 그 연쇄가 답이 되는 사용자 질문을 붙인다.

연구진은 1만6천 개가 넘는 실제 API로 구성된 ToolBench를 활용했을 때 데이터 생성 통과율이 99.8%에 도달했다고 보고했다. 500개 사례로 Gemma 3 모델을 추가 학습한 실험에서는 12B 모델이 Berkeley Function Calling Leaderboard에서 83.1점을 기록했다. 적은 데이터라도 실행 경로가 확인돼 있으면 도구 사용 능력을 효율적으로 가르칠 수 있다는 결과다.

다만 여기서도 통과율은 곧 현실의 신뢰성이 아니다. 성공하는 도구 경로를 먼저 만든 방식은 유효한 학습 쌍을 늘리지만, 사용자가 실제로 던지는 모호한 요청의 분포를 그대로 반영하지 않을 수 있다. 제품 팀이라면 데이터 생성 통과율과 실제 업무 성공률을 분리하고, 보지 못한 도구·권한 오류·부분 실패가 있는 환경에서 다시 평가해야 한다.

모델이 아니라 실행 시스템을 시험한다

ByteDance 계열 연구진의 HarnessDev는 평가 대상을 한 단계 바깥으로 옮긴다. 에이전트의 최종 답을 채점하는 대신, 실행 루프·도구 사용·상태 관리·오류 복구를 담당하는 하네스를 모델이 직접 만들고 개선할 수 있는지 본다. 여섯 모델, 네 영역, 다섯 벤치마크의 2,207개 과제가 사용됐고 개발 과정에 보이지 않은 문제를 따로 남겼다.

결과는 자기 개선에 대한 낙관을 조심스럽게 만든다. 생성된 하네스는 글쓰기와 머신러닝 실험에서 선정된 사람 설계 기준과 비슷하거나 더 높은 성능을 보였지만, 코드와 검색·연구에서는 성숙한 사람 설계 시스템보다 뒤처졌다. 실행 피드백을 이용한 개선도 일부 성과는 있었으나 불안정했고, 보지 못한 과제로의 전이와 다른 실행 모델로의 이전은 제한적이었다.

이 결과가 실무에 주는 교훈은 간단하다. 에이전트가 자신의 도구를 고쳤다는 로그만으로 개선을 선언해서는 안 된다. 수정에 사용한 문제와 최종 평가 문제를 분리하고, 실행 모델을 고정한 비교와 비용 측정을 함께 해야 한다. 좋은 하네스는 많은 코드를 생성한 하네스가 아니라 낯선 조건에서도 회복하고 같은 결과를 다시 만드는 하네스다.

기능의 존재보다 기여도를 측정하라

Claude Code가 공개한 플러그인 평가 방식은 이 원칙을 개발 도구 수준으로 가져온다. 같은 작업을 플러그인을 켠 상태와 끈 상태에서 각각 반복하고 두 점수의 차이인 델타를 계산한다. 플러그인을 사용했을 때 만점을 받아도, 플러그인 없이 같은 점수가 나오면 그 기능이 성공을 만들었다고 보기 어렵다는 접근이다.

기본 설정은 비결정적인 에이전트의 변동을 줄이기 위해 각 조건을 세 번씩 실행한다. 자연스러운 사용자 요청에서 스킬이 실제로 선택됐는지, 모델이나 코드 변경 뒤에도 효과가 유지되는지, 비용 한도와 품질 기준을 넘겼는지도 확인할 수 있다. 기능 목록을 늘리는 대신 기능이 기본 모델 위에 얼마나 추가 가치를 만들었는지 묻는 셈이다.

이 방식은 특정 제품에만 필요한 기능이 아니다. AI 검색의 새 재랭커, 고객센터의 지식 도구, 개발 에이전트의 규칙 파일을 도입할 때도 동일한 원칙을 쓸 수 있다. ‘도입 후 성공률’만 보면 강해진 기본 모델이나 쉬운 평가 문제의 효과가 섞인다. 기능을 제거한 기준선, 반복 실행의 분산, 실패 사례와 비용을 함께 봐야 투자한 계층의 실제 가치를 알 수 있다.

Kyurasi 관점: 증거를 제품 기능으로 설계하라

앞으로 AI 성과의 품질은 모델 이름보다 증거 묶음의 완성도로 판단해야 한다. 연구라면 원자료와 코드, 형식 증명과 참고 문헌 이력을 공개하고, 제품이라면 모델·도구·프롬프트·하네스 버전을 실행 기록에 남겨야 한다. 결과와 함께 무엇을 보지 못했고 어떤 조건에서 실패했는지도 공개해야 숫자가 다른 환경으로 이동할 수 있다.

개발팀은 세 가지를 기본값으로 삼을 수 있다. 첫째, 기능을 켠 경우와 끈 경우를 같은 입력으로 비교한다. 둘째, 개발에 쓰지 않은 숨은 문제와 실제 사용자 분포에서 재시험한다. 셋째, 성공률뿐 아니라 토큰·시간·사람 확인 비용과 롤백 가능성을 기록한다. 이 세 가지가 없으면 에이전트의 개선은 모델 교체나 평가 누수에 의한 착시일 수 있다.

연구기관과 기업은 데이터 경계도 제품 약관을 넘어 연구 거버넌스로 다뤄야 한다. 비공개 아이디어가 모델 개선이나 내부 경쟁 프로젝트에 쓰일 수 있는지, 연구자가 사용 이력을 증명할 방법이 있는지, 공로 분쟁이 생겼을 때 누가 기록을 열람할 수 있는지 미리 정해야 한다. AI가 과학과 소프트웨어의 탐색 속도를 높일수록 신뢰는 선언이 아니라 재현 가능한 기록에서 생긴다.