실전 코드 평가 'Real-SWE' 벤치마크 등장, 앤스로픽 모델이 1위

AI 평가 스타트업 스페시픽랩스가 실제 기업 코드베이스로 AI 모델의 개발 능력을 테스트하는 신규 벤치마크 'Real-SWE'를 공개했습니다. 앤스로픽의 클로드 페이블 5.1이 38.8%의 해결률로 1위를 차지했고, OpenAI의 GPT-6 아스트라(33.8%)와 구글 제미나이 3.8 플래시(31.2%)가 뒤를 이었습니다.

실제 업무 환경에 가까운 비공개 코드베이스를 기준으로 삼았다는 점에서 기존 공개 벤치마크보다 신뢰도가 높다는 평가를 받고 있습니다. 공개 벤치마크는 모델이 사전에 학습 데이터로 접해봤을 가능성이 있어 실제 실력을 온전히 반영하지 못한다는 지적이 꾸준히 제기돼 왔는데, Real-SWE는 이런 한계를 보완하려는 시도로 주목받고 있습니다. 세 모델의 순위가 근소한 차이로 갈린 만큼, 실전 코딩 성능을 둘러싼 주요 AI 기업들의 경쟁은 앞으로도 이어질 전망입니다.

출처: withspecific.com - https://withspecific.com