집
메이투안의 롱캣은 브라우즈컴프를 대체할 더 까다로운 벤치마크인 로호서치를 출시했습니다. 이 도구는 위키피디아에 있는 762만 개의 엔티티에서 자동으로 질문을 생성함으로써 난이도의 상한선을 없애줍니다. 최상위 모델들의 점수는 브라우즈컴프에서는 90%였던 반면 로호서치에서는 단 34.74%에 그쳐 검색 에이전트들의 실제 약점이 드러났습니다. 컨텍스트 기반 전략을 사용해도 향상된 성능을 거의 얻지 못했습니다. 총 544개의 질문으로 구성된 이 벤치마크는 오픈소스로 공개되어 있습니다.
의견 (0)
0/300
