Los investigadores proponen las "cascadas especulativas", que fusionan la descodificación especulativa y las cascadas estándar para mejorar la eficiencia del LLM. El método utiliza un modelo más pequeño para redactar las salidas y una regla de aplazamiento para decidir si aceptar o pasar tareas a un modelo mayor. Las pruebas demuestran que logra mejores equilibrios entre velocidad y calidad que las técnicas independientes, optimizando el coste y el rendimiento en tareas como el resumen, el razonamiento y la codificación.

comentario (0)