실세계 성능을 위한 AI 모델 선택 최적화

기업은 애플리케이션을 구동하는 AI 모델이 실세계 시나리오에서 효과적으로 작동해야 합니다. 이러한 시나리오를 예측하는 것은 평가를 복잡하게 만드는 도전 과제입니다. 업데이트된 RewardBench 2 벤치마크는 조직에 모델의 실제 성능에 대한 더 명확한 통찰을 제공합니다.

Allen Institute for AI (Ai2)는 RewardBench 벤치마크의 향상된 버전인 RewardBench 2를 도입했으며, 이는 모델 성능과 기업 목표와의 정렬을 포괄적으로 평가하도록 설계되었습니다.

Ai2는 추론 시간 계산 및 하위 훈련을 통해 상관관계를 평가하는 분류 작업으로 RewardBench를 개발했습니다. RewardBench는 보상 모델(RMs)에 초점을 맞추며, 이는 대형 언어 모델의 출력에 점수 또는 "보상"을 부여하여 인간 피드백을 통한 강화 학습(RHLF)을 안내합니다.

RewardBench 2가 나왔습니다! 우리는 첫 번째 보상 모델 평가 도구에서 많은 것을 배우며 더 어렵고 하위 RLHF 및 추론 시간 스케일링과 더 높은 상관관계를 가진 도구를 만들었습니다. pic.twitter.com/NGetvNrOQV

— Ai2 (@allen_ai) 2025년 6월 2일

Ai2의 선임 연구 과학자인 Nathan Lambert는 VentureBeat에 원래의 RewardBench가 초기에 잘 작동했지만, 모델 환경의 변화로 인해 업데이트된 벤치마크가 필요했다고 전했습니다.

“보상 모델이 더욱 정교해지고 사용 사례가 복잡해짐에 따라, 우리는 커뮤니티와 함께 첫 번째 버전이 실세계 인간 선호도의 복잡성을 완전히 다루지 못한다는 것을 알게 되었습니다,”라고 그는 설명했습니다.

Lambert는 RewardBench 2가 평가 범위와 깊이를 개선하여 다양하고 도전적인 프롬프트를 포함하고, AI 출력에 대한 인간 판단을 더 잘 반영하도록 세밀한 방법을 도입했다고 언급했습니다. 이는 새로운 인간 프롬프트, 더 엄격한 점수 시스템, 그리고 추가 도메인을 포함합니다.

모델 평가를 위한 평가 활용

보상 모델은 모델 성능을 평가하지만, 기업 가치와의 정렬이 중요합니다. 정렬되지 않은 보상 모델은 환각, 일반화 감소, 또는 미세 조정 및 강화 학습 중에 유해한 응답을 지나치게 선호하는 문제를 증폭시킬 수 있습니다.

RewardBench 2는 사실성, 정확한 지침 준수, 수학, 안전성, 초점, 그리고 동률 등 여섯 개의 도메인을 다룹니다.

“기업은 필요에 따라 RewardBench 2를 두 가지 방식으로 사용할 수 있습니다. RLHF의 경우, 최상위 모델의 모범 사례와 데이터셋을 파이프라인에 통합해야 하며, 보상 모델은 정책 기반 훈련이 필요합니다. 추론 시간 스케일링 또는 데이터 필터링의 경우, RewardBench 2는 상관 성능을 통해 도메인에 가장 적합한 모델을 선택하는 데 도움을 줍니다,”라고 Lambert는 말했습니다.

Lambert는 RewardBench와 같은 벤치마크를 통해 사용자가 일반적인 점수가 아닌 자신에게 가장 중요한 우선순위에 따라 모델을 평가할 수 있다고 강조했습니다. 그는 성능이 주관적이며, 사용자 맥락과 목표에 크게 좌우되며, 인간 선호도가 종종 매우 미묘하다고 언급했습니다.

Ai2는 2024년 3월에 최초의 보상 모델 벤치마크이자 리더보드인 RewardBench를 출시했습니다. 이후 Meta의 FAIR reWordBench와 DeepSeek의 Self-Principled Critique Tuning과 같은 새로운 방법이 더 똑똑하고 확장 가능한 보상 모델을 위해 등장했습니다.

두 번째 보상 모델 평가가 나와서 매우 기쁩니다. 훨씬 더 어렵고, 훨씬 더 깔끔하며, 하위 PPO/BoN 샘플링과 잘 연관되어 있습니다.

행복한 힐클라이밍하세요!

@saumyamalik44가 프로젝트를 탁월함에 대한 전적인 헌신으로 이끈 것에 큰 축하를 보냅니다. https://t.co/c0b6rHTXY5

— Nathan Lambert (@natolambert) 2025년 6월 2일

모델 성능 통찰

RewardBench 2를 통해 Ai2는 Gemini, Claude, GPT-4.1, Llama-3.1의 변형을 포함한 기존 및 새로 훈련된 모델과 Qwen, Skywork, Tulu와 같은 데이터셋 및 모델을 테스트했습니다.

결과는 더 강력한 기본 모델로 인해 더 큰 보상 모델이 뛰어났음을 보여주었습니다. Llama-3.1 Instruct 변형이 벤치마크에서 1위를 차지했으며, Skywork 데이터는 초점과 안전성에 도움을 주었고, Tulu는 사실성에서 좋은 성과를 보였습니다.

Ai2는 RewardBench 2가 다중 도메인, 정확성 중심의 보상 모델 평가를 발전시켰지만, 주로 기업이 특정 요구에 가장 적합한 모델을 선택하는 데 지침을 제공해야 한다고 언급했습니다.