GPT 5.6 Sol vs Fable 5, 핏불과 현자

프리미엄 AI 매거진 AXyNow, 손상윤입니다.

요즘 나온 두 모델을 좀 써봤는데요. 한 줄로 말하면 이래요. GPT 5.6 Sol은 핏불테리어고, 클로드 Fable 5 는 현자예요. 제가 이 둘한테 한국 세무, 노무 실무부터 에어컨 리모컨 회로도까지 다 시켜봤거든요. 그랬더니 점수는 대동소이 한데, 진짜 재밌는 반전이 있습니다.

한 줄 요약 성향은 핏불과 현자로 갈립니다.

---

1. GPT 5.6 Sol과 Fable 5

지난달에 제가 그랬죠. GPT 5.6 Sol이 미국 정부에 의해 한동안 공개가 막혔었다고 말이죠. 사이버 보안 능력이 위험하다는 이유로요. 드디어 공개가 됐고, Fable 5도 풀렸습니다.

먼저, Fable 5 는 GPT 5.6 Sol 보다 두 배 가까이 비쌉니다. 그럼 당연히 궁금하죠. 두 배 값을 하나? 비싼 값을 하나? 근데 저는 벤치 숫자를 그대로 안 믿거든요. 숫자는 출발점이고, 진짜는 시켜봐야 나오겠죠. 그래서 커뮤니티 후기, 벤치 환각률, 그리고 AX 실무 시스템. 순서대로 갑니다.

2. 성향차이, 현자와 핏불

제가 지어낸 얘기가 아닙니다. 해외 개발자들이 두 모델을 실제로 굴려보고 남긴 후기를 먼저 훑었거든요. X, 해커뉴스, 개발자 블로그 등을 조사했습니다. 신기하게 평이 딱 두 갈래로 갈리는데, 그게 현자와 핏불이랑 그대로 겹쳐요.

먼저 Fable5. "더 믿을 만하고 좀 더 똑똑하게 느껴진다. 예전만큼 옆에 붙어서 감시 안 해도 된다"(개발자 dwaltrip, 해커뉴스). "예전 모델이 대여섯 번 주고받아야 찾던 걸 페이블은 첫 답에 바로 짚는다. 그냥 알아듣는다"(docstryder). 유명 개발자 시몬 윌리슨은 "덩치가 크게 느껴진다. 속도나 값이 아니라 아는 게 그만큼 많다는 뜻"이라고 했고요. 아예 "GPT랑 Opus가 4년차 개발자라면 Fable 5 는 갓 승진한 5년차"라는 평도 있었어요.

클로드 Fable 5 · 현자형
맥락을 읽고 판단을 얹는다. 애매한 걸 던지면 '왜'를 짚는다. 자기가 뭘 모르는지 아는 쪽. 확실히 지식과 지능 수준 자체가 Opus 4.8에 비해 확 향상된 것을 느낄 수 있다. 단순한 코딩 기계가 아니라, 이젠 정말 전략적 판단이나 실용적 결정까지 믿고 논의할 수 있는 수준에 이른 것 같다. 조금만 더 나아가면 AGI라고 부를 만도 할 것 같다.

GPT 5.6 Sol · 핏불형
에이전틱 코딩에서 목표를 물면 끝까지 판다. 수단과 방법을 가리지 말라면, 합법 선에서 뭐든 한다. 집요함이 무기다. 왜, 어떻게, 무엇을, 어떤 기준과 원칙으로 해야하는지를 명확하게 줄 수 있다면 GPT 5.6 Sol이 그 목표를 이루는 데 있어서는 지구 최강에 가깝다. Fable 5는 '나도 어떻게 해야할지 잘은 모르겠지만 일단 널 믿고 알아서 판단해서 해봐' 쪽에 더 가깝다면, GPT 5.6 Sol은 모든 요소를 명확하게 근거있게 쥐어주고 끝까지 물고 늘어져봐. 반드시 달성해내. 달성 기준은 이거야. 라고 했을 때 명확하게 신뢰할 수 있다.

GPT 5.6 Sol 은 캐릭터가 확 다릅니다. 코드리뷰 회사 CodeRabbit는 솔을 "고집 센 엔지니어. 목록을 한번 붙잡으면 놓지 않는다"고 했어요. 딱 핏불이죠? 목표 주고 자동화 걸어놓기엔 이만한 게 없습니다. 이건 GPT 5.6 Sol 뿐만 아니라 하위 패밀리인 Terra, Luna도 거의 유사한 성향을 보여요. 근데 이 집요함이 양날의 칼이에요. 같은 팀이 "간단한 수정 하나에 솔이 엉뚱한 길로 빠져서 여덟 번을 헤맸다"고도 했거든요. 물면 안 놓는 게, 맞는 길일 땐 무기고 틀린 길일 땐 삽질이 된다는 것입니다.

또, 여기서 오해하면 안 되는 게 있어요. 솔이 지능 자체가 더 좋냐면, 후기들이 입을 모아 아니라고 해요. 시몬 윌리슨은 "확실히 유능하지만, 복잡한 코딩에선 페이블보다 낫다는 인상은 아직 못 받았다"고 했고, 애디 오스마니도 "Sol은 Fable만큼 날카롭진 않다"고 못박았어요. 이게 오늘의 핵심입니다.

3. 벤치점수가 높다고 지능이 더 좋은 건 아니다

GPT 5.6 Sol이 벤치 숫자는 더 튀는데 왜 지능이 더 좋은 건 아니라고 하는지 궁금하신가요?

7월에 Sol 이 풀리자마자 사고가 줄줄이 터졌어요. 한 개발자는 GPT 5.6 Sol이 자기 맥 파일을 거의 다 지워버렸다고 했고(매트 슈머, X), 또 한 명은 "Sol이 내 프로덕션 데이터베이스를 통째로 날렸다. 농담 아니다. 다른 어떤 모델도 이런 적 없었다. 안전하지 않다"고 했어요(브루노 레모스, X). 시키지도 않은 파일 정리를 실행하고, 안 한 일을 했다고 보고한 사례가 문서로 남았고요.

자, 이게 '환각'이랑 연관이 깊습니다. 환각이 뭐냐면, 모르는 걸 모른다고 안 하고 아는 척하는 거예요. 자신있게 틀리는 거죠. 안 시킨 걸 밀어붙이는 핏불 성향이랑 아는 척하는 환각이, 사실 같은 뿌리예요. 일단 지르고 보는 거죠.

제 해석은 이렇습니다. GPT 계열은 특정 벤치 점수를 뽑으려고 집요하게 깎은 것 같은 느낌을 받습니다. 목표를 물면 수단을 안 가리는 쪽으로요. 왜냐면, 실제로 AI를 사용했을 때 내가 '돈을 쓴 효과'를 보려면 결과물이 보장돼야 하거든요? 그럼 결과물은 끝까지 가야 나와요. 즉, 아무리 똑똑해도 결과물을 못내고 주저하거나 중간에 작업을 멈춘다면 그건 돈 쓴 체감이 안나오기도 하고, 벤치마크 점수도 안나온다는 의미입니다. 당연하게도 끝까지 밀어부치도록 강화학습이 됐을 겁니다.

반면 클로드 계열은 '모르는 게 뭔지 알아야 찾을 수 있다'는 원칙으로 깎인 것 같아요. 그래서 더 인간적이에요. 괜히 Anthropic이 뇌과학 관련 논문을 많이 내는게 아니구나 싶습니다. 사람은 똑똑할수록 자기가 뭘 모르는지를 잘 분간하거든요. 아까 그 맥 파일 날린 개발자가 남긴 말이 정확히 이거예요. "그래서 나는 Fable 5를 천 배 더 믿는다."

물론 Fable 5도 자신있게 틀린 적이 있어요. 어떤 개발자는 "페이블이 실패한 결과를 내놓고선 X, Y, Z 테스트를 돌려서 통과했다고 당당하게 말했다. 믿을 수가 없다"며 2,000$를 태웠다고 했거든요(renoir, 해커뉴스). 그러니 이건 **'성향'**이지 '보장'이 아니에요. 다만 사고 빈도와 위험도에서, 핏불이 더 자주 문다는 거죠.

실제로 Artificial Analysis 지표에서도 보면, GPT 계열은 환각률이 높아요. 물론 정답률도 높죠. 즉 GPT 계열은, 아는게 많다면 굳이 **'모르는 걸 모른다고 말하게끔 무리해서 가르칠 필요는 없다. 차라리 그 시간에 더 많은 지식을 주는게 낫다'**는 철학이 보이고, 클로드는 '뭘 모르는지를 판단하는 능력은 인간이 가진 유일한 무기. 즉, AI가 인간에게 위협이 되지 않으려면 스스로 뭘 모르는지, 뭘 알아내야 하는지를 판단하는 것이 가장 중요하다.' 는 쪽에 가깝다는 겁니다.

Fable 5 는 '판단력'에 값을 매긴 거고, GPT 5.6 Sol 은 '집요함'에 값을 매긴 거예요. 둘은 다른 물건이에요.

4. 그래서 한국 실무는?

자, 여기까진 성향 얘기였고요. 이제 제가 재보는 AXyBench로 갑니다. 한국 세무, 법무, 노무. 사장님 책상에서 제일 자주 터지는 세 영역이에요. 시스템 프롬프트도 도구도 없이, 아는 것만으로 즉답하게 했어요.

점수부터 보시죠. 차이가 워낙 미세해서 막대로 그리면 오히려 거짓말이 돼요. 그래서 표로 봅니다.

다 합치면 페이블 90.1, 솔 89.4. 0.7점 차이예요. 세계 최상위 두 모델이 한국 실무에서 사실상 붙어 있다는 뜻이죠. 솔직히 이 급이 되면 비즈니스 실무에서는 엥간하면 다 무난해요. 여기까진 '둘 다 잘한다'예요.

근데 표를 자세히 보면 이상한 게 하나 있어요. 세무랑 법무는 현자 페이블이 가져갔는데, 노무는 핏불 솔이 이겼어요. 아니, 아까 페이블이 더 똑똑하다며. 근데 왜 졌을까요?

여기가 오늘 제일 중요한 대목이에요. 이유를 파봤거든요.

노무 질문에서 신입 직원 4대보험을 물었어요. 솔은 올해 국민연금 요율을 맞게 답했고, 페이블은 작년 요율로 답했어요. 작년에 연금개혁으로 요율이 한 단계 올랐는데, 페이블은 그걸 모르고 작년 숫자에 멈춰 있었던 거예요. 건강보험도, 장기요양도 똑같이요.

자, 진짜 문제는 이거예요. 페이블이 머리가 나빠서 진 게 아니에요. 아무리 현명해도, 지식이 작년에 멈춰 있으면 오늘 요율 앞에선 틀린 답이거든요. 여기서 축이 두 개로 갈려요. 하나는 '자기가 뭘 모르는지 아는가'(이건 페이블이 위), 또 하나는 '오늘 사실을 아는가'(이건 이번엔 솔이 위). 이 둘은 완전히 다른 능력이에요. 똑똑한 거랑 최신인 거는 별개라는 겁니다.

물론 진짜 지뢰들은 둘 다 잘 피했어요. 월급 320만 원짜리 직원은 두루누리 사회보험 지원 대상이 아니라는 것(기준이 270만 원이라서요), 권고사직을 서류에 자진 퇴사로 잘못 적으면 직원이 실업급여를 못 받는다는 것. 이런 함정은 양쪽 다 정확히 짚었어요. 승부를 가른 건 결국 '요율이 오늘 것이냐' 한 줄이었습니다.

정리하면, 하나만 고르라는 질문이 틀렸어요

자, 정리할게요. 성향은 핏불(GPT 5.6 Sol)과 현자(Fable 5)로 갈리고, 값은 페이블이 거의 두 배지만, 한국 실무 점수는 0.7점 차 무승부였습니다. 그리고 그 현자가 노무에서 진 건 머리가 아니라 지식이 작년에 멈춰 있었기 때문이라고 볼 수 있겠습니다.

• 목표 딱 주고 에이전트로 끝까지 밀어붙일 일. 자동화, 반복 실행. 이건 GPT 5.6 Sol 이에요. 핏불한테 맡기세요.
• 애매하고, 통찰적 판단이 필요한 일 일. 이건 Fable 5 이에요. 자기가 뭘 모르는지 아는 놈이니까요.

저희 회사에서는 그래서 이 둘을 이렇게 나눠 씁니다. 끝까지 물고 늘어져야 하는, 소위 /goal 같은 작업은 핏불한테(ㅋㅋ), 아키텍쳐 혹은 서비스 정책 같이 잘못 판단하면 리스크가 큰건 현자한테. 값 두 배가 무조건 정답은 아니에요. 자리에 맞는 놈을 앉히는 거죠.

다음 편에서는 에어컨 회로도 시험대 결과를 화면으로 직접 돌려서, 핏불과 현자가 진짜 어려운 실무 앞에서 어떻게 갈리는지 보여드리겠습니다. 프리미엄 AI 매거진 AXyNow였습니다.