집
연구원들은 LLM 효율성을 개선하기 위해 추측적 디코딩과 표준 캐스케이드를 병합하는 '추측적 캐스케이드'를 제안합니다. 이 방법은 더 작은 모델을 사용하여 출력 초안을 작성하고 지연 규칙을 사용하여 작업을 수락할지 아니면 더 큰 모델로 전달할지 결정합니다. 테스트 결과 이 방법은 독립형 기술보다 속도와 품질이 더 잘 균형을 이루며 요약, 추론, 코딩과 같은 작업 전반에서 비용과 성능을 최적화하는 것으로 나타났습니다.
의견 (0)
0/300
