Meta의 첫 프런티어 모델 Muse Wonder, 더 강한 Full은 API에서 쓸 수 없다
AI15분 읽기

Meta의 첫 프런티어 모델 Muse Wonder, 더 강한 Full은 API에서 쓸 수 없다

Wonder Full은 모델 카드 14개 시험 중 7곳에서 경쟁 세 모델을 앞서지만 API로는 쓸 수 없고, API의 Wonder는 입력 $4·출력 $20에 4곳에서 앞섭니다.

API로 살 수 있는 Muse Wonder는 모델 카드 14개 시험 중 4곳에서 경쟁 모델보다 높고, 구독자만 쓸 수 있는 Muse Wonder Full은 7곳에서 높습니다. Meta가 10월 12일 이 두 모델을 내놓으며 내세운 경쟁력의 근거가 이 숫자들입니다. 그런데 7 대 7이라는 승패표는 읽는 법에 따라 전혀 다른 이야기가 됩니다. 앞선 곳의 크기는 +11.2에서 +0.2까지 제각각이고, 점수를 잰 주체와 하니스(시험을 돌리는 틀)도 줄마다 다르며, 14줄 가운데 두 줄은 다른 줄을 묶어 만든 종합 점수입니다. 이 글은 14줄을 하나씩 읽은 뒤 그 점수가 단가와 토큰, 구독료로 어떻게 이어지는지 따라갑니다. 값은 Meta의 블로그·모델 카드·개발자 문서와 독립 평가 기관 Artificial Analysis(이하 AA)의 모델 페이지에서 읽었고, 기준일은 10월 27일입니다. 모델 카드에서는 공개 뒤 한 곳이 10월 23일에 정정됐습니다.

이름은 하나, 문은 둘

Muse Wonder는 앞서 나온 Spark 1.1~1.3 다음 계단입니다. Meta는 더 큰 기반 모델 위에 사전학습과 강화학습을 쌓아 만들었다고 설명하고, 코딩과 오래 걸리는 에이전트 작업을 겨냥한다고 합니다. 입력은 텍스트·이미지·영상·오디오, 출력은 텍스트이며 문맥 길이는 1,048,576토큰입니다. 모델 카드에는 파라미터 수나 구조 같은 크기 정보가 없습니다. 달라지는 것은 모델이 아니라 접근 경로입니다.

지불 방식 네 가지 중 Model API와 Muse Code 종량제와 일반 구독은 Muse Wonder로, Power와 Maximum 구독만 Wonder Full로 이어지는 경로 그림 그림 1. 지불 방식에 따라 닿는 모델. Wonder Full로 가는 길은 월 50달러 이상의 Muse Code 구독 하나뿐이다

경로 그림을 글로 옮기면 다음과 같습니다. 모델 ID는 muse-wonder-1.0(API와 Muse Code)과 muse-wonder-full-1.0(Muse Code 구독 전용)입니다. API 기본 주소는 https://api.meta.ai/v1이고 Responses, Chat Completions(OpenAI 호환), Messages(Anthropic 호환) 세 규격을 지원합니다. Model API에서 Wonder는 아직 프리뷰이고, 열린 가중치는 없습니다. Meta 문서가 열린 가중치 모델로 꼽는 것은 Muse Spark Open과 Muse Glimmer입니다. 개발자 문서의 모델 항목에는 이 두 모델을 제공하지 않는 지역이 명시되어 있으니, 가입이나 결제 전에 그 항목을 먼저 확인해야 합니다.

가장 흔한 오해는 API의 추론 강도로 Full을 대신할 수 있다는 생각입니다. 추론 강도는 none, minimal, low, medium, high, xhigh, max 일곱 단계이고 max는 muse-wonder-1.0에서도 지원되지만, 문서는 이것이 Wonder Full을 고르는 것이 아니라고 못박습니다. 같은 문서에서 Wonder는 생각하는 모델이라 none을 보내면 HTTP 400으로 거절합니다. 모델 카드의 Full 성적표를 보고 API 결과를 기대하면 어긋나는 이유가 여기 있습니다.

14줄 5열을 순위로 칠해 보면

Meta는 모델 카드에서 Wonder Full과 Wonder를 Claude Fable 5.1, GPT-6 Astra, Claude Opus 5.5와 비교했고, 모든 모델을 최고 추론 강도로 돌렸습니다. 점수의 척도가 시험마다 달라서(13.1이 높은 줄이 있고 85.5가 평범한 줄이 있습니다) 같은 색 농도로 칠하면 읽을 수 없습니다. 그래서 아래 그림은 한 줄 안에서의 순위로 칠하고 실제 점수를 글자로 적었습니다. 진한 칸이 그 줄의 1등입니다.

14개 시험에서 Wonder Full, Wonder, Fable 5.1, GPT-6 Astra, Opus 5.5의 점수를 줄 안 순위로 칠한 격자. 줄별 1등 수는 Full 6, Wonder 1, Astra 1, Opus 5.5가 6, Fable은 0 그림 2. 모델 카드 성적표 70칸. OSWorld V2.1은 부분 점수, SWE-Marathon의 Full은 xhigh 값이다

맨 아래 줄의 1등 횟수는 Full 6, Opus 5.5가 6, Wonder와 GPT-6 Astra가 1씩이고 Fable 5.1은 0입니다. Wonder의 1등은 기억 시험 MemoryBench(85.6)이고, Full은 85.5로 0.1점 차이입니다. 1등 수와 앞선 줄 수가 7 대 6으로 다른 이유가 바로 이 줄입니다. 경쟁 세 모델만 놓고 보면 Full(85.5)이 가장 높은 Opus 5.5(81.5)를 4.0점 앞서므로 “경쟁 모델보다 높은 곳”에는 들어갑니다. 반대로 Opus 5.5는 건강 질의 HealthBench Pro, 직무 시험 JobBench, 컴퓨터 사용 OSWorld V2.1, 터미널 코딩 Terminal-Bench 4.0, 처음부터 재구성하는 ProgramBench, 종합 지수 AA Index까지 여섯 줄에서 위에 있습니다. GPT-6 Astra는 PDF 자료 기반 업무 GDP.pdf(34.2) 한 줄입니다.

앞선 7곳과 밀린 7곳, 크기는 같지 않다

승패 횟수 대신 점수 거리를 보겠습니다. 아래 그림은 한 줄마다 Full과 경쟁 세 모델 중 가장 높은 점수를 점으로 찍고, 차이가 큰 순서로 세웠습니다. 초록 막대는 Full이 앞선 줄, 빨간 막대는 밀린 줄입니다.

Full과 경쟁 세 모델 최고점의 거리를 14개 시험별로 보인 덤벨 그림. SWE-Marathon이 +11.2로 가장 앞서고 ProgramBench가 -11.5로 가장 밀린다 그림 3. Full 점수와 경쟁 세 모델 최고점의 차이. 이름 뒤 숫자는 편집부가 계산한 점수 차이

양 끝이 비슷한 크기인 것이 눈에 띕니다. 가장 크게 앞선 SWE-Marathon은 +11.2, 가장 크게 밀린 ProgramBench는 -11.5입니다. 밀린 7곳의 차이를 모두 합하면 23.8점인데, ProgramBench 하나가 그 거의 절반(11.5점)입니다. 반대로 Vals Finance(+0.2)와 JobBench(-0.1)는 소수 첫째 자리 차이라서 승패 한 칸으로 세기에는 얇습니다. 3점 이상 벌어진 줄만 세면 앞선 곳이 6, 밀린 곳이 3입니다. 같은 성적표가 “7 대 7”일 수도, “6 대 3”일 수도 있다는 뜻이니, 어느 줄을 어떤 기준으로 세느냐가 결론을 정합니다.

올려 준 점수와 앞선 점수는 다른 숫자

API로 쓸 수 있는 것은 Wonder뿐이므로, Full의 성적표에서 정작 알고 싶은 것은 “Full이라서 얻은 점수가 얼마인가”입니다. 아래 그림은 가로축에 Full에서 Wonder를 뺀 점수(구독 모델이 더해 준 양), 세로축에 Full에서 경쟁 세 모델 최고점을 뺀 점수(앞선 정도)를 놓은 것입니다. 점선 아래 빨간 점은 Full이 밀리는 줄입니다.

가로축은 Full에서 Wonder를 뺀 점수, 세로축은 Full에서 경쟁 최고점을 뺀 점수로 14개 시험을 점으로 찍은 산점도. 세로 점선 근처 왼쪽에 DeepSWE와 MemoryBench가 있고 오른쪽 아래 끝에 ProgramBench가 있다 그림 4. 가로는 Wonder에서 Full로 올라가며 더해진 점수, 세로는 경쟁 모델과의 거리(둘 다 편집부 계산)

세로 점선 바로 옆, 가로 0 근처의 두 점은 DeepSWE 1.1(+0.2)과 MemoryBench(-0.1)입니다. 이 두 줄에서는 Wonder가 Full과 사실상 같은 점수이므로 경쟁 모델에 앞서는 것도 Full의 몫이 아닙니다. Wonder 혼자서도 경쟁 최고점을 넘는 줄은 Harvey LAB-AA(+1.4), MemoryBench(+4.1), DeepSWE(+4.6), SWE-Marathon(+6.8) 네 곳이고, 나머지 열 곳에서는 Wonder가 경쟁 최고점에 못 미칩니다. Full이 7곳에서 앞선다는 숫자 가운데 나머지 셋(PSI, Vals Finance, AutomationBench)은 Full이 더해 준 점수 덕에 뒤집힌 줄입니다.

오른쪽 끝 ProgramBench는 Full이 Wonder에 9.0점을 더하는 가장 큰 상승을 보이는데도 경쟁 최고점에는 11.5점 못 미칩니다. Wonder 혼자라면 20.5점 차입니다. 구독 모델이 가장 많이 점수를 더한 줄이 거꾸로 가장 크게 밀리는 줄이기도 하다는 점이 이 그림의 요점입니다. 컴퓨터 사용 OSWorld(+5.8)와 업무 자동화 AutomationBench(+6.3)도 Full의 상승이 큰 줄입니다. 단, SWE-Marathon은 다음 절의 표 아래에서 보듯 같은 조건의 비교가 아닙니다.

점수마다 다른 자

같은 “점”이어도 재는 주체와 조건이 다릅니다. 모델 카드가 적은 설명을 줄별로 정리하면 이렇습니다.

시험 무엇을 재나 점수 출처
PSI Agents’ Last Exam, AutomationBench-AA, FocusBench, JobBench, GDP.pdf, VBT, DRACO 일곱 개를 묶은 종합 Meta 내부 지수
Harvey LAB-AA 1.1 법률 산출물이 모든 기준과 환각 검사를 통과한 과제의 비율 Artificial Analysis
Vals Finance Agent V2 금융 분석가 과제의 비공개 시험 정확도 Vals AI
HealthBench Pro 건강 질문 525개를 도구 없이 답하게 하고 의사가 쓴 기준표로 채점 Meta 실행, Fable 5.1·Opus 5.5는 Anthropic 시스템 카드 값
AutomationBench-AA 업무 흐름이 모든 종료 상태 검사를 통과한 비율(strict pass@1) Artificial Analysis
GDP.pdf PDF 원자료 기반의 전문 업무 Surge
OSWorld V2.1 우분투 데스크톱에서 108개 작업. 부분 점수와 엄격한 완료 점수 Meta 공통 내부 틀, Opus 5.5는 Anthropic 보고 부분 점수
MemoryBench 64K~100K 토큰 대화 속 사실을 방해 대화와 뒤집는 발언 뒤에 묻기 Meta 내부 시험
Terminal-Bench 4.0 격리된 터미널에서 최종 컨테이너 상태 검증 Artificial Analysis
DeepSWE 1.1 저장소 91개·작업 113개의 장기 코딩, pass@1 Datacurve(Full·Wonder·Opus), OpenAI 보고(Astra), Anthropic 시스템 카드(Fable)
SWE-Marathon 큰 프로젝트를 실행 테스트로 채점, pass@1 Abundant AI 리더보드
ProgramBench 인터넷 없이 프로그램을 통째로 재구성, 테스트 95% 이상 통과한 시도의 비율 모든 모델이 mini-swe-agent로 실행
AA Index v4.3 GDPval-AA, AutomationBench-AA, GDP.pdf, Terminal-Bench 4.0 등을 묶은 종합 Artificial Analysis

표를 읽으면 세 가지가 보입니다. 첫째, 14줄은 서로 독립이 아닙니다. PSI에는 AutomationBench-AA, JobBench, GDP.pdf가, AA Index에는 AutomationBench-AA, GDP.pdf, Terminal-Bench 4.0이 이미 들어 있습니다. 종합 두 줄을 빼고 독립 시험 12줄로 세면 승패는 6 대 6입니다. 둘째, Full이 앞선 7곳 가운데 Meta 내부 시험은 PSI와 MemoryBench 둘이고, 나머지 다섯은 AA, Vals AI, Datacurve, Abundant AI 같은 외부 결과를 썼습니다. 셋째, 한 줄 안에서도 출처가 섞입니다. DeepSWE에서 Astra와 Fable은 제공사가 낸 값이라 같은 기관이 잰 것이 아닙니다.

비교 조건에도 단서가 있습니다. SWE-Marathon에서 GPT-6 Astra와 Claude Fable 5.1은 각각 Codex와 Claude Code로 돌린 리더보드 값이고, Wonder Full은 xhigh 추론 강도로 보고했으니 공통 하니스의 통제된 비교가 아닙니다. 점수를 고르는 규칙은 비교 가능한 제3자나 제공사 보고치가 있으면 그것을, 없으면 내부 검증 실행·자체 보고·공식 리더보드 중 가장 높은 값을 쓴다는 것입니다. 경쟁 모델을 Meta가 직접 돌린 값은 가능한 한 공통 설정으로 돌렸지만 각 모델에 맞게 최적화되지 않았을 수 있다고 카드가 밝히고, 모델이 거절한 답은 0점으로 두고 분모에 남깁니다.

13.1과 39.4와 59.0은 무엇의 몇 퍼센트인가

숫자의 이름표를 읽으면 크기가 달라집니다. Full이 경쟁 모델을 4.5점 앞선 Harvey LAB-AA의 13.1은 법률 문서 과제에서 모든 기준을 충족하고 환각 검사까지 통과한 결과물의 비율입니다. 뒤집으면 열 건 가운데 아홉 건 가까이(86.9%)는 어딘가 기준에 못 미칩니다. “1등”과 “그대로 써도 된다”는 다른 이야기이고, 카드도 법률·금융·건강 분야에서 쓰는 목적을 “검토용 초안 준비”로 적었습니다.

OSWorld V2.1은 줄 안에 숫자가 두 벌 있습니다. 카드의 주 지표는 작업당 부분 점수의 평균이라 Full 78.4, Wonder 72.6이지만, 끝까지 완료했는지만 보는 엄격한 점수(binary)는 Full 39.4, Wonder 34.3입니다. 같은 줄에서 Fable 5.1은 부분 80.7에 엄격 43.1이고 GPT-6 Astra는 75.8에 34.3입니다. 엄격한 기준으로 바꾸면 Fable이 Full을 앞서고, Opus 5.5는 부분 점수만 있어 엄격한 값을 비교할 수 없습니다. 화면을 보며 움직이는 에이전트를 직접 만들려는 사람에게 필요한 것은 부분 점수가 아니라 끝까지 가는 비율일 수 있습니다. API에서는 Responses의 tools에 {“type”: “computer”}를 넣는 방식으로만 쓸 수 있고, 화면을 찍고 클릭을 실행하는 환경은 사용자가 마련해야 합니다. 동작에 안전 검토 항목(pending_safety_checks)이 붙을 수 있는데, 문서는 이를 자동으로 승인하지 말고 사람이 받아들일 때만 확인하라고 안내합니다. 긴 작업은 같은 루프를 값싼 muse-spark-1.3으로 돌려 비용을 낮추는 방법도 문서에 있습니다.

ProgramBench의 59.0은 시도의 59%가 숨겨진 테스트의 95% 이상을 통과했다는 뜻입니다. 이름은 “처음부터 프로그램 만들기”처럼 들리지만 카드의 정의는 인터넷을 끊은 환경에서 완성된 프로그램을 통째로 재구성하는 것입니다. 이 줄에서는 Opus 5.5(70.5)가 Wonder Full(59.0)과 Wonder(50.0)를 모두 앞서는데, 정의가 이렇다 보니 “새 기능을 짜 달라”는 일상의 코딩 요청 전체를 대표하는 시험은 아닙니다.

MemoryBench와 PSI에 들어 있는 FocusBench는 Meta가 두 모델의 특징으로 내세운 활성 메모리·활성 집중을 재는 시험입니다. 활성 메모리는 대화 사이에 사용자 맥락을 이어 가고 바뀐 최신 값을 꺼내는 기능, 활성 집중은 목표를 향해 다른 방법을 시도하고 중요한 행동 전에 확인하는 기능이라고 Meta가 설명합니다. 두 시험 모두 Meta 내부 시험이고, MemoryBench는 심판 모델이 질문별 가중 기준표로 채점합니다.

단가표 바깥의 숫자

가격은 100만 토큰당 입력 $4.00, 캐시 입력 $0.20, 출력 $20.00입니다. 같은 Model API의 Spark 1.3(입력 $1.25, 캐시 $0.15, 출력 $4.25)과 견주면 입력은 3.2배, 출력은 약 4.7배, 캐시는 1.3배입니다. 문맥이 길어져도 단가에 할증 계단이 없고, Meta가 요청에 넣는 시스템 지시문은 청구도 사용량 집계도 하지 않습니다. 웹 검색 도구는 1,000건당 $2.50이 토큰 비용에 더해지고, 한도는 키마다가 아니라 팀 전체에 분당 요청 3,000건과 토큰 400만 개입니다. 학습 허용(Contributor)으로 값을 낮춘 단가는 Spark 전용이고 Wonder에는 없습니다.

단가만으로는 청구서를 짤 수 없다는 증거가 AA의 측정입니다. 최고 추론 강도로 잰 Wonder의 값은 다음과 같습니다.

130MAA 종합 지수를 돌리는 데 쓴 출력 토큰. 비교군 중앙값은 87M
34.08초첫 글자까지 걸린 시간. 중앙값은 3.74초
$8.63AA가 적은 지수 작업 하나당 비용
95%캐시 적중 할인($4.00 대 $0.20)

종합 지수는 52점으로 215개 모델 중 10위(10월 27일 열람)입니다. 출력 토큰은 중앙값의 약 1.5배를 쓰고, 첫 글자까지는 약 9배 걸리지만, 일단 시작하면 초당 194.7토큰으로 182개 중 16위(중앙값 83.8)입니다. 오래 생각하고 시작이 느린 대신 한번 말하기 시작하면 빠른 모델입니다. 생각 토큰은 보이지 않아도 출력 단가인 $20로 청구되고, 같은 출력 한도(max_output_tokens, Chat Completions는 max_tokens)를 보이는 답과 나눠 씁니다. 한도를 작게 잡으면 생각하다가 답이 잘리므로, 사용량의 reasoning_tokens(Responses에서는 output_tokens_details 안)를 처음 몇 번은 확인해야 합니다. 영어가 아닌 글과 코드는 같은 내용이어도 토큰이 더 나올 수 있다고 청구 문서가 적었으니 그런 입력이 많다면 대시보드의 실제 토큰 수로 예산을 잡아야 합니다.

같은 30턴이 $50.40도 $2.81도 되는 이유

단가의 격차보다 큰 변수가 캐시입니다. 40만 토큰짜리 저장소를 앞에 붙여 두고 30번 이어 묻는다고 가정합니다. 매 턴 새 질문 5,000토큰과 추론을 포함한 출력 3,000토큰으로 단순화했고, 첫 요청은 캐시에 올라가기 전이라 입력 단가를 내며 이후 29번은 앞부분 40만 토큰이 모두 캐시에 맞는다고 봅니다. 가격표로 계산한 편집부 예시입니다.

같은 30턴 첫 요청 이후 한 턴 합계
Wonder, 캐시 없음 $1.68 $1.68 약 $50.40
Wonder, 캐시 적중 $1.68 $0.16 약 $6.32
Spark 1.3, 캐시 적중 $0.52 $0.08 약 $2.81

Wonder에서 캐시 유무가 만드는 차이(약 8배)가 Wonder와 Spark의 차이(약 2.2배)보다 훨씬 큽니다. 한 턴 $0.16은 캐시 입력 $0.08, 출력 $0.06, 새 질문 $0.02로 나뉘어, 캐시가 맞은 뒤에도 출력이 둘째로 큰 항목입니다. 응답의 cached_tokens로 캐시가 실제로 맞는지 확인하고, 고정된 앞부분(저장소)을 앞에, 바뀌는 부분(질문)을 뒤에 두어야 이 계산이 성립합니다. 추론 강도를 올리면 위 표의 출력 3,000토큰 자체가 늘어납니다.

구독료를 사용량 1배로 나누면

Muse Code 구독은 네 가지이고 공식 상품 페이지의 값은 다음과 같습니다. 사용량은 5시간 단위로 갱신되며 Everyday 기준으로 5시간마다 프롬프트 10~50회 안팎입니다.

플랜 월 가격 사용량(Everyday 기준) 들어 있는 모델
Everyday $5 1배 Spark, Wonder, Image
High $15 5배 위와 같음
Power $50 20배 위 + Wonder Full
Maximum $200 80배 Power와 같음, 사용량만 4배

플랜 월 가격을 사용량 배수로 나눈 값이 Everyday 5달러, High 3달러, Power와 Maximum 2.5달러로 내려가는 막대 그림 그림 5. 사용량 1배당 월 가격(편집부 계산). Power부터 Wonder Full이 들어 있다

위로 올라갈수록 같은 사용량이 싸지고, Power와 Maximum은 1배당 값이 같아서 Maximum은 Full을 더 오래 쓰려는 사람이 사는 플랜입니다. 올리는 것은 즉시 적용되며 남은 기간만큼 일할 계산되고, 내리는 것은 다음 결제 주기부터이며, 해지는 결제 주기가 끝날 때까지 쓸 수 있고 다음 결제일 24시간 전까지 해야 합니다. 법이 요구하지 않는 한 환불은 없습니다. Muse Code의 기본 모델은 문서상 muse-spark-1.2라서 Wonder를 쓰려면 –model로 지정하거나 도중에 /models로 바꾸고, 남은 사용량은 muse usage로 봅니다.

앞의 산점도를 구독 결정으로 옮기면 두 갈래가 나옵니다.

Full과 Wonder의 차이가 큰 줄

  • ProgramBench(+9.0), AutomationBench(+6.3), OSWorld 부분 점수(+5.8), Terminal-Bench(+5.1)
  • PSI와 Vals Finance는 Full이 더해 준 점수로 경쟁 최고점을 넘는 줄이라, 이런 작업이 중심이면 구독이 근거가 된다

Wonder만으로도 앞서거나 같은 줄

  • DeepSWE 1.1(+0.2), MemoryBench(-0.1)는 Wonder와 Full이 사실상 같은 점수
  • SWE-Marathon과 Harvey LAB-AA는 Wonder 혼자서도 경쟁 최고점보다 높다(+6.8, +1.4)

구독의 기본값과 한 번 어긋난 안전 숫자

구독에는 점수와 별개로 데이터 설정이 있습니다. Muse Code 구독은 기본값이 기여자(Contributor) 모드이고, 문서 표현으로 더 많은 사용량을 받는 대신 Meta가 내 콘텐츠를 앞으로의 모델 학습에 쓰도록 허락하는 모드입니다. 언제든 끌 수 있고 끈 뒤의 콘텐츠는 학습에 쓰이지 않는다고 합니다. 대화형에서는 /settings의 Model 항목, 비대화형 muse exec에서는 –contributor-mode off나 환경 변수 MUSE_CONTRIBUTOR_MODE=0이며, 플래그가 환경 변수보다 우선합니다. 종량제 결제, 데이터 보존을 막은 계정(Zero Data Retention), 조직이 관리하는 설정에서는 이 항목이 나오지 않습니다. 회사 코드가 구독 대화에 들어간다면 설정부터 확인하고 시작해야 합니다.

안전 평가도 같은 방식으로 읽습니다. 모델 카드의 위험 평가는 가장 능력이 높은 Wonder Full 기준이고, 화학·생물, 사이버, 통제 상실 세 영역을 봅니다. 보호 장치가 없으면 화학·생물 영역에서 “높은 위험” 문턱을 넘지 않는다고 단정할 수 없다고 적고, 안전 후학습과 시스템 분류기로 막았다고 합니다. 최종 평가는 보호 장치를 거친 뒤 모든 영역이 “보통 이하”입니다.

평가 Full 결과 읽는 법
CyberGym / ExploitBench 88.4% / 58.9% 사이버 능력. 높을수록 능력이 큼
ExploitGym 의도된 깃발 20개 10월 23일 정정 후 값
사이버 우회 공격 성공률(한 번 / 여러 번) CyberBench 0.8 / 0.8, PolyGuard 1.1 / 2.3, RedCode 9.0 / 8.0 (%) 낮을수록 좋음. RedCode는 열 번 중 한 번 가까이 뚫림
생물 안전 거절률 BioTIER 영어 98.7%, 다국어 98.7%, 공격적 변형 98.2% 높을수록 좋음
정직성·통제 상실 MASK 87.3%, Agentic Misalignment 0% 앞은 높을수록, 뒤는 낮을수록 좋음

ExploitGym은 공개 열하루 뒤에 값이 바뀐 줄입니다. Meta는 의도한 취약점을 프롬프트에 넣도록 하니스를 바로잡아 다시 돌렸고, 전체 깃발 92개 가운데 의도된 21개로 냈던 값을 공식 리더보드 방식인 의도된 깃발 20개로 바꿔 적었습니다. 위험 등급은 정정 때문에 바뀌지 않았다고 합니다. 블로그는 추가 평가를 담은 안전 보고서 전문을 “곧” 공개한다고 예고했습니다.

점수표가 닿지 않는 곳

모델 카드는 한계를 여섯 가지로 적었습니다. 부정확하거나 편향된 답을 낼 수 있고, 학습 데이터에 잘 없는 새로운 상황의 다단계 추론에서 실수할 수 있으며, 시각·공간 추론 특히 3D 작업은 여전히 약합니다. 사전학습 데이터에 있는 모든 언어에서 평가한 것은 아니라 강하게 지원하는 언어 밖에서는 성능이 떨어질 수 있고, 양자화·서빙 설정·프롬프트·도구·에이전트 하니스에 따라 성능이 달라지며, 18세 미만 사용을 의도하지 않았습니다. 카드는 실제 행동을 하는 에이전트로 배포할 때 되돌릴 수 없는 행동에는 사람이 확인하는 단계를 두라고 권합니다. 활성 집중의 “중요한 행동 전 확인”과 같은 방향입니다.

이 한계 목록에서 점수표와 직접 이어지는 것은 다섯 번째입니다. 성능이 하니스와 프롬프트에 따라 달라진다는 문장은 14줄 어디에나 붙는 각주이고, 그래서 7 대 7이라는 숫자는 모델의 서열이 아니라 Meta가 고른 시험 14개를 같은 무게로 센 값입니다. 이 표를 가장 쓸모 있게 쓰는 방법은 14줄 가운데 내 작업과 가장 닮은 한두 줄을 고르고, 그 줄에서 Wonder와 Full과 경쟁 모델의 거리를 읽은 다음, 같은 작업 몇 건을 직접 돌려 그 거리가 내 쪽에서도 나는지 확인하는 것입니다.

#Meta#Muse Wonder#Muse Code#프런티어 모델#AI 에이전트