Kyurasi 큐라시

kyurasi.com/@kyurasi

CRM 모델·안전 로봇, AI는 좁아지고 책임은 넓어졌다

Koa, KARI BRAIN, 네이버 ASF 2.0, Microsoft AI 규범, Digit 5를 통해 AI가 실제 현장에 들어가기 위한 새로운 조건을 분석합니다.

kyurasi 블로그 방문
CRM 모델·안전 로봇, AI는 좁아지고 책임은 넓어졌다

CRM 모델·안전 로봇, AI는 좁아지고 책임은 넓어졌다

📅
KyurasiKyurasi
2
#AI에이전트#도메인AI#AI안전#엔터프라이즈AI#휴머노이드#자율주행#AI거버넌스#피지컬AI
💡이 글의 요약

전용 추론 모델, 내부 지식 플랫폼, 서비스 안전 체계, 협업 로봇을 통해 AI 경쟁의 중심이 범용 성능에서 명확한 운영 경계로 이동하고 있습니다.

요약

AI가 실제 업무와 공간으로 들어갈수록 ‘무엇이든 할 수 있다’는 설명은 장점보다 위험에 가까워집니다. 이번에 공개된 시스템들은 공통적으로 능력의 범위를 좁히는 대신 책임의 범위를 넓혔습니다. 세일즈포스는 CRM 업무에 맞춘 추론 모델을 내놓았고, 한국항공우주연구원은 검증된 내부 지식을 연결하는 전용 플랫폼을 추진합니다. 네이버와 Microsoft AI는 모델의 답변을 넘어 서비스 운영과 조직 규범까지 안전의 대상으로 삼았습니다.

물리 세계에서도 같은 변화가 보입니다. 어질리티의 Digit 5는 사람을 감지하면 피하거나 멈추고 필요하면 앉는 안전 동작을 별도 제어 구조에 넣었고, Pony.ai의 자율 화물차는 조향·제동·통신·전원·컴퓨팅·센싱에 중복 구조를 적용했습니다. AI 경쟁은 더 이상 하나의 점수나 화려한 시연만으로 설명되지 않습니다. 어떤 데이터로 판단하고, 어디까지 행동하며, 실패했을 때 무엇이 멈추는지가 제품의 핵심 사양이 되고 있습니다.

범용 지능보다 업무의 문법

세일즈포스와 엔비디아가 발표한 Koa는 범용 모델 위에 CRM의 문법을 다시 입힌 사례입니다. 엔비디아 Nemotron 3 Super를 기반으로 하되, 세일즈포스가 오랜 CRM 운영에서 축적한 기업 업무의 구조를 반영한 합성 데이터로 사후 학습했습니다. 영업 기회를 갱신하고 고객 문의를 분류하며 후속 일정을 잡는 일은 일반 상식만으로 처리되지 않습니다. 권한, 순서, 예외, 기록 책임이 함께 작동해야 하기 때문입니다.

세일즈포스는 자체 CRM 벤치마크에서 오류가 줄었다고 주장하지만, 이 수치는 회사가 설계한 평가라는 점을 함께 봐야 합니다. 더 중요한 변화는 최고 성능을 선언한 데 있지 않습니다. 모델 가중치와 추론을 자사 신뢰 경계 안에 두고, 정부·규제 산업에는 사설 클라우드와 격리망 선택지를 제시했다는 데 있습니다. 기업용 AI의 경쟁력이 ‘가장 똑똑한 답’에서 ‘우리 규칙 안에서 재현 가능한 행동’으로 이동하고 있다는 신호입니다.

조직의 기억에도 출처와 경계가 필요하다

한국항공우주연구원이 추진하는 KARI BRAIN도 같은 방향을 다른 방식으로 보여줍니다. 개인과 부서에 흩어진 기술자료와 연구 경험을 AI가 검색할 수 있는 지식자산으로 전환하되, 검증된 자료를 단계적으로 연결하고 연구자료를 외부로 보내지 않는 자체 인프라를 지향합니다. 연구기관에서 중요한 것은 더 많은 문서를 읽는 능력보다 어떤 문서가 승인된 근거인지 구분하는 능력입니다.

이 접근은 지식 검색 시스템의 성패가 모델 크기보다 데이터의 계보, 접근 권한, 갱신 책임에 달려 있음을 드러냅니다. 오래된 보고서와 최신 시험 결과가 같은 무게로 검색되거나, 개인 메모와 공식 기준이 구분되지 않으면 유창한 답변이 오히려 조직의 판단을 흐릴 수 있습니다. 내부 AI를 도입하려는 팀이라면 먼저 ‘무엇을 넣을까’보다 ‘누가 유효성을 확인하고 언제 폐기할까’를 설계해야 합니다.

안전은 선언문에서 운영 도구로 내려온다

네이버가 공개한 ASF 2.0 적용 사례는 안전을 서비스 수명주기의 작업으로 바꿉니다. N-ARTI는 법률적·사회적·산업적 사례를 바탕으로 위험을 110개 세부 항목으로 나누고, N-ASET은 답변을 유해성과 사용성 두 축에서 평가합니다. 위험한 문장을 차단하는 것만으로는 충분하지 않고, 필요한 면책과 전문가 안내를 제공하면서도 이용자의 질문에 실제로 도움이 되었는지 함께 본다는 뜻입니다.

Microsoft AI의 Humanist AI Code of Conduct는 한 단계 앞선 약속이라기보다 아직 완성되지 않은 설계 문서에 가깝습니다. 회사는 현재 모델이 이 문서로 학습되지 않았다고 명시했고, 6주간 공개 의견을 받은 뒤 연말에 수정본을 내고 이후 모델 개발에 활용하겠다고 밝혔습니다. 규범을 공개한 사실은 의미가 있지만, 실제 평가는 이제 만들어지는 중입니다. 따라서 중요한 질문은 선언의 문구가 아니라 그 문구가 테스트 항목, 배포 제한, 사고 대응 절차로 어떻게 변환되는가입니다.

두 사례가 만나는 지점은 안전을 모델 하나의 속성이 아니라 조직 전체의 운영 체계로 본다는 것입니다. 제품 책임자는 위험 분류를, 개발자는 가드레일과 평가를, 운영자는 모니터링과 고지를, 경영진은 예외 승인과 책임 소재를 맡아야 합니다. 안전은 별도 검토팀이 마지막에 붙이는 체크리스트가 아니라 처음부터 제품 구조에 들어가는 인터페이스가 됩니다.

물리 세계에서는 멈추는 방식이 곧 지능이다

Digit 5가 강조한 핵심은 더 자연스러운 걸음이 아니라 사람과 같은 작업 공간을 공유하기 위한 ‘협력적 안전’입니다. 여러 센서로 사람을 감지하고, 상황에 따라 피하거나 정지하거나 앉는 동작을 수행하며, 별도의 안전 제어기가 위험 거리에서 대응을 지시합니다. 시각·청각 신호로 다음 움직임을 주변 사람에게 알리는 기능도 포함됐습니다. 로봇의 판단을 더 자유롭게 만드는 동시에, 행동의 한계를 하드웨어와 제어 계층에 더 분명히 새긴 셈입니다.

다만 이 제품은 2027년 상반기 조기 공급과 연말 일반 공급을 목표로 하고 있고, 일부 안전 기능은 개발 중입니다. 표준화 작업 역시 진행 단계입니다. 시연 영상이나 주문 규모만으로 사람과의 안전한 협업이 입증됐다고 볼 수는 없습니다. 실제 사업장의 동선, 바닥 상태, 작업자 교육, 비상 정지, 보험과 사고 기록까지 포함한 현장 검증이 필요합니다.

Pony.ai의 4세대 자율 화물차도 비슷한 원리를 따릅니다. 회사는 조향·제동·통신·전원·컴퓨팅·센싱을 이중화하고, 장거리·전용 노선·항만이라는 비교적 명확한 운행 범위를 제시했습니다. 자율 시스템이 커질수록 모든 상황을 한 모델이 잘 처리하길 기대하기보다, 고장 하나가 전체 실패로 번지지 않도록 시스템을 분해하고 중복시키는 설계가 더 중요해집니다.

다음 경쟁력은 경계를 설명하는 능력

개발자와 제품 운영자에게 이번 흐름은 모델 선택표를 다시 쓰라는 요구입니다. 정확도와 비용뿐 아니라 데이터 출처, 권한 상속, 행동 가능 범위, 실패 모드, 사람에게 넘기는 조건, 로그 보존, 평가 주체를 함께 비교해야 합니다. 전용 모델을 쓴다고 자동으로 안전해지는 것도 아니고, 규범을 공개했다고 책임이 완성되는 것도 아닙니다. 좁은 범위는 검증 가능성을 높일 뿐이며, 그 경계를 유지하는 운영이 뒤따라야 합니다.

사용자에게도 변화가 있습니다. AI가 어느 자료를 근거로 답했고, 어떤 권한으로 행동했으며, 왜 멈췄는지를 알 수 있어야 신뢰를 판단할 수 있습니다. 앞으로 좋은 AI 제품은 능력을 과시하는 화면보다 제한과 이관 조건을 이해하기 쉽게 보여주는 제품일 가능성이 큽니다.

범용 모델은 사라지지 않을 것입니다. 다만 실제 가치를 만드는 층에서는 범용 능력이 업무의 문법, 검증된 지식, 공개된 규칙, 독립된 안전 장치와 결합해야 합니다. AI가 좁아진다는 것은 후퇴가 아닙니다. 책임질 수 있는 형태로 구체화되는 과정입니다.

출처

마지막 수정: 2026. 9. 16.

다른 포스트

이전 포스트
수학 난제와 초파리 뇌가 묻는다, AI 성과는 누가 증명하나

수학 난제와 초파리 뇌가 묻는다, AI 성과는 누가 증명하나

다음 포스트
드림-RSI·플러그인4셸, AI가 자기 규칙을 고치기 시작했다

드림-RSI·플러그인4셸, AI가 자기 규칙을 고치기 시작했다