Kyurasi 큐라시

kyurasi.com/@kyurasi

롱캣·하이드로젠, AI의 새 연료는 ‘실패 기록’이다

LongCat 2.5와 Hydrogen-1.0, DeepSeek Creator Mode를 통해 AI가 실패한 작업 궤적을 학습·재실행·검증 가능한 자산으로 바꾸는 흐름을 분석합니다.

롱캣·하이드로젠, AI의 새 연료는 ‘실패 기록’이다

롱캣·하이드로젠, AI의 새 연료는 ‘실패 기록’이다

📅
KyurasiKyurasi
8
#LongCat2.5#Hydrogen1.0#DeepSeekHarness#AI에이전트#강화학습#AI과학#개발자도구#AI안전
💡이 글의 요약

롱캣과 하이드로젠은 정답만 모으지 않는다. 실패한 코딩과 실험의 전 과정을 재현 가능한 경험으로 바꾸며 AI 학습의 단위를 바꾸고 있다.

요약

AI를 키우는 데이터의 단위가 정답 한 줄에서 작업 전체의 궤적으로 바뀌고 있다. 메이투안의 LongCat 2.5는 실제 코딩 에이전트가 실패한 기록을 재현 가능한 과제와 테스트로 바꿔 다시 학습한다. Deep Principle의 Hydrogen-1.0은 가설, 실험 행동, 관찰, 수정, 실패를 포함한 연구 기록을 모델에 넣는다. 서로 다른 분야의 두 모델이 같은 결론에 도착했다. 결과만 남기면 모델은 답을 외우지만, 과정과 실패를 남기면 다음 행동을 배울 수 있다는 것이다.

딥시크의 Creator Mode는 이 흐름을 제품 인터페이스로 옮긴다. 사용자가 필요한 기능을 말하면 에이전트가 플러그인 코드를 만들고 설치한 뒤 작동 여부까지 확인한다. 모델이 기존 도구를 호출하는 수준을 넘어, 작업 중 드러난 빈틈을 새 도구로 메우는 단계다.

다만 ‘실패를 학습한다’는 말은 자동으로 신뢰성이 높아진다는 뜻이 아니다. 공급사가 만든 평가, 공개되지 않은 학습 데이터, 에이전트가 스스로 만든 실행 코드가 한데 묶이면 잘못된 행동도 더 빠르게 반복될 수 있다. 경쟁력은 실패 기록의 양보다 그것을 재현하고 격리하며 독립적으로 판정하는 구조에서 갈린다.

정답 데이터에서 작업 궤적으로

기존 모델 학습은 대체로 입력과 모범 답안의 쌍을 많이 모으는 데 집중했다. 하지만 긴 작업은 마지막 답만으로 설명되지 않는다. 어떤 파일을 열었는지, 어떤 도구를 호출했는지, 어디서 실패했는지, 실패 뒤 무엇을 바꿨는지가 성패를 가른다. 코딩과 과학 실험처럼 환경의 반응을 받아 다음 수를 정하는 일에서는 이 중간 과정이 사실상 핵심 데이터다.

작업 궤적은 단순한 로그와도 다르다. 좋은 궤적 데이터에는 당시 도구 버전과 권한, 입력, 관찰 결과, 실패 조건, 수정 행동, 최종 판정이 함께 있어야 한다. 같은 환경에서 다시 돌렸을 때 같은 실패나 성공을 확인할 수 있어야 학습 신호가 된다. 재현할 수 없는 기록은 흥미로운 이야기일 수는 있어도 모델을 고치는 근거로 쓰기 어렵다.

이번 발표들이 중요한 이유는 이 원칙이 연구 아이디어를 넘어 제품 훈련 파이프라인과 사용자 인터페이스에 동시에 나타났기 때문이다. 한쪽에서는 실패한 작업이 다음 모델의 훈련 과제로 들어가고, 다른 쪽에서는 현재 모델이 부족한 기능을 새 플러그인으로 만들어 바로 실행한다. 학습과 사용 사이의 거리가 짧아지고 있다.

LongCat 2.5는 실패를 코딩 과제로 되돌린다

LongCat 2.5는 총 1조6000억 매개변수 가운데 토큰마다 약 480억 개를 활성화하는 네이티브 멀티모달 모델이다. 그러나 크기보다 눈여겨볼 대목은 장기 에이전트 강화학습 방식이다. 메이투안은 실제 에이전트의 실패 궤적을 수집해 재현 가능한 학습 과제로 바꾸고, 공개 저장소의 PR과 이슈를 바탕으로 환경과 테스트를 합성했다고 설명한다.

검증 장치도 훈련 데이터만큼 구체적이다. 학습 환경에서 인터넷을 끊고 Git 기록과 파일 캐시를 지워 모델이 정답을 훔쳐보는 경로를 줄였다. 반복적인 사고와 불필요한 도구 호출에는 별도 불이익을 주고, 테스트의 거짓 양성·거짓 음성을 분석해 검증 신호를 계속 고친다. 에이전트 성능을 높이는 일이 더 긴 답을 생성하는 문제가 아니라, 실패를 정확히 재현하는 테스트 엔지니어링 문제로 바뀐 셈이다.

메이투안이 공개한 코딩·브라우징 점수는 공급사 자체 측정이므로 독립 성능으로 받아들여서는 안 된다. 다만 Vercel AI Gateway에 모델이 실제 제공되기 시작해 개발자가 통합 시험을 할 수 있는 단계에는 들어섰다. 이제 중요한 질문은 표의 최고점보다, 다른 하네스와 저장소에서도 같은 실패를 줄이는지와 테스트를 보지 않은 새 작업에서 개선이 유지되는지다.

Hydrogen-1.0은 실패한 실험도 지우지 않는다

Hydrogen-1.0은 GLM-5.3을 기반으로 화학, 재료과학, 생명과학 데이터와 자체 실험실 기록을 후학습한 과학 모델이다. Deep Principle은 성공한 결과만이 아니라 가설, 행동, 관찰, 수정으로 이어지는 발견 궤적을 보존했다고 밝혔다. 유망하지 않았던 후보와 바뀐 가설까지 남겨 모델이 다음 실험에서 무엇을 시도할지 배우게 한다는 접근이다.

공식 시연에는 실험 프로토콜을 가상 환경에서 먼저 컴파일하는 장면이 나온다. 모델이 새 팁 없이 액체를 흡입하려는 순서 오류를 내자 가상 실험실이 이를 잡고, 모델이 순서를 고쳐 다시 통과한다. 이 구조의 가치는 AI가 과학자를 대신한다는 데 있지 않다. 비싼 장비와 시약을 쓰기 전에 실패를 값싼 가상 실행으로 옮기고, 수정 과정을 다음 판단의 자료로 남기는 데 있다.

가중치는 MIT 라이선스로 공개됐지만 재현성은 아직 제한적이다. 모델 카드에 따르면 전체 학습 데이터와 완전한 학습 레시피는 공개되지 않았고, 공급사 비교 평가도 독립 검증이 아니다. 모델 카드 역시 출력이 검증된 실험 결과나 건강·안전 결정의 근거가 될 수 없다고 명시한다. 오픈 웨이트는 조사 가능성을 높이지만, 연구 결론까지 자동으로 열어 주지는 않는다.

딥시크는 빈틈을 새 도구로 메운다

DeepSeek Harness의 Creator Mode는 사용자가 원하는 작업 공간이나 기능을 자연어로 설명하면 에이전트가 플러그인을 만드는 기능이다. 공개된 사례에는 논문 리더, 영상 편집기, 디자인 작업 공간, 3D 시각화 도구가 포함됐다. 에이전트는 코드를 작성하는 데서 멈추지 않고 설치와 작동 확인까지 맡는다. 일부 결과는 여러 차례 대화를 거쳐 다듬어졌다는 점도 공개됐다.

이 방식은 실패 궤적 학습의 제품적 귀결이다. 작업 중 필요한 기능이 없다는 사실을 감지하고, 그 빈틈을 도구로 구현해 다음 시도에 바로 투입할 수 있다. 개발자는 완성된 플러그인 카탈로그만 고르는 대신 자신의 업무 과정을 인터페이스로 바꿀 수 있다. 반대로 말하면 모델이 읽은 문서와 파일이 곧 실행 코드의 재료가 되므로, 잘못된 지시가 행동으로 번지는 거리도 짧아진다.

Tencent 연구진이 이전 버전의 DeepSeek Harness를 대상으로 1만4560회 통제 실험을 수행한 결과, 특정 숨은 유니코드 공격에서 규칙 기반 판정 기준 최대 25.5%의 공격 성공률을 관찰했다. 이 수치는 한 버전, 한 모델 백엔드, 한 에이전트 설정을 대상으로 하고 별도 방어 변환을 적용하지 않은 결과라 현재 Creator Mode의 취약률로 일반화할 수 없다. 그래도 생성된 플러그인을 곧바로 신뢰하지 말아야 한다는 설계 원칙은 분명하다.

실패를 자산으로 만드는 네 가지 조건

첫째, 실패는 재실행 가능해야 한다. 입력과 출력만 저장하지 말고 사용한 모델, 도구 버전, 권한, 외부 상태, 테스트와 판정 기준을 함께 묶어야 한다. 둘째, 행동을 만든 모델과 결과를 평가하는 장치를 분리해야 한다. 같은 모델이 과제를 만들고 수행하고 채점하면 보상 해킹을 놓치기 쉽다.

셋째, 새 도구는 격리된 환경에서 시작해야 한다. 에이전트가 만든 플러그인은 네트워크, 파일, 비밀값 접근을 기본 차단하고 필요한 권한만 단계적으로 받아야 한다. 코드 서명과 변경 이력, 사람이 확인할 수 있는 실행 계획, 되돌릴 수 있는 배포 단위도 필요하다. 실패 궤적에는 소스 코드와 실험 기록 같은 민감 정보가 섞이므로 수집 권한과 보존 기간도 제품 기능만큼 중요하다.

넷째, 공급사 벤치마크와 실제 운영 증거를 구분해야 한다. 이번 발표들은 실패를 학습 자산으로 다루는 방법이 코딩과 과학에서 동시에 등장했다는 강한 신호다. 그러나 더 높은 점수나 인상적인 시연이 곧 일반화와 안전성을 증명하지는 않는다. 앞으로의 경쟁은 누가 실패를 더 많이 모으느냐보다, 누가 그 실패를 독립적으로 재현하고 안전하게 다음 행동으로 바꾸느냐에서 갈릴 것이다.

출처

게시글 신고

신고 사유를 선택해 주세요. 접수한 내용은 관리자에게 전달됩니다.

0 / 1000자

마지막 수정: 2026. 11. 3.