AI에게 긴 일을 맡기면 답변의 지식만큼 중요한 문제가 생깁니다. 처음 준 조건을 끝까지 기억하는지, 중간에 추가한 요청을 엉뚱한 작업에 적용하지 않는지, 막혔을 때 성공한 척하지 않는지입니다. 메타가 2026년 9월 2일 공개한 뮤즈 스파크 1.3(Muse Spark 1.3)은 이런 장시간 에이전트 업무를 주요 개선점으로 내세웁니다.
새 모델은 뮤즈 코드와 메타 모델 API에 배포됩니다. 기존 추론 모드는 제공하지만 가장 높은 max 모드는 추가 안전성 시험 뒤 확대할 예정이라고 메타는 밝혔습니다. 공개 평가에 등장하는 최고 설정의 성능과 일반 이용자가 당장 접근할 수 있는 설정을 나눠 읽어야 합니다.
대화가 길어져도 일의 목적을 붙잡아야 합니다
에이전트는 자료를 찾고 도구를 실행하면서 다음 행동을 정합니다. 사용자가 도중에 조건을 바꾸면 지금 하던 일을 수정해야 하는지, 별개의 요청인지 판단해야 합니다. 이런 구분을 잘못하면 개별 답변은 그럴듯해도 최종 결과물이 처음 의도와 멀어질 수 있습니다.
메타는 여러 실행 환경에서 모델을 학습시키고, 모호한 요청에는 질문하며 중요한 행동은 확인하도록 개선했다고 설명합니다. 오래 걸리는 과제에서 세부 조건을 덜 놓치고 여러 업무를 구분하는 능력도 강조했습니다. 이는 회사가 설명한 학습 방향이며, 모든 복잡한 업무에서 성공한다는 보장은 아닙니다.
독립 평가에서도 업무형 과제의 개선이 나타났습니다
Artificial Analysis가 9월 2일 공개한 평가에서 일반 제공되는 xhigh 설정은 지능 지수 61점을 받았습니다. 이전 1.2의 57점보다 4점 높습니다. 은행 업무를 모사한 도구 사용 시험의 성적은 35%에서 47%로, Terminal-Bench 2.1은 80%에서 85%로 개선됐습니다. 서로 다른 과제의 점수를 하나의 현장 성공률처럼 읽을 수는 없지만, 개선이 에이전트 업무에 집중됐다는 단서입니다.
한편 같은 평가에서 장문 추론 시험 AA-LCR은 83%에서 79%로 낮아졌습니다. 새 버전이라는 이유로 모든 능력이 동시에 좋아지는 것은 아닙니다. 긴 문서를 비교하는 작업이 중요하다면 종합 점수 외에 해당 종류의 평가와 자체 자료로 한 시험을 함께 봐야 합니다.
더 적게 쓴다는 회사 설명과 더 든다는 평가가 함께 있는 이유
메타는 자체 엔지니어의 코딩 비교에서 도구 호출과 토큰 사용이 줄었다고 설명했습니다. 반면 Artificial Analysis의 종합 과제당 비용은 이전 모델의 0.40달러에서 xhigh 기준 0.55달러로 늘었습니다. 기관은 에이전트 시험에서 입력 토큰이 늘어난 점 등을 이유로 들었습니다.
두 결과는 서로 다른 과제와 측정 조건을 사용합니다. 회사 내부의 코딩 작업에서 효율이 좋아졌더라도, 외부의 여러 단계 업무 시험에서는 더 많은 정보를 읽거나 도구를 여러 번 사용할 수 있습니다. 따라서 어느 수치를 모든 업무에 적용하기보다, 실제 맡길 과제에서 결과 품질과 비용을 같이 측정하는 편이 맞습니다.
가장 높은 설정이 언제나 좋은 선택은 아닙니다
제한 미리보기인 max 설정은 같은 기관의 지능 지수에서 62점을 받았습니다. 다만 평가기관은 이 설정의 공개 가격이 아직 없어 비용 비교에서 제외했습니다. 더 높은 성능표를 먼저 보여줄 수 있더라도 누구나 같은 조건으로 사용할 수 있는 상품과는 다릅니다.
이번 모델의 의미는 AI가 지식을 얼마나 많이 말하는가에서, 맡긴 일을 얼마나 오래 일관되게 수행하는가로 경쟁이 깊어지고 있다는 데 있습니다. 실제 도입에서는 중간 확인에 필요한 사람의 시간, 잘못된 행동을 되돌리는 비용, 완료된 결과물의 품질을 함께 비교해야 합니다. 점수가 오른 만큼 업무가 편해지는지는 그 과정에서 확인됩니다.