Melbourne et les chercheurs de l’UNSW présentent VoxMem, un nouveau benchmark mettant en lumière des failles critiques dans l’évaluation actuelle de la mémoire des IA vocales. Contrairement aux méthodes antérieures qui négligent les nuances audio, VoxMem isole la longueur de la conversation afin d’évaluer la capacité de rappel concernant l’identité du locuteur, le ton et les sons ambiants sur 34 743 instances audio. Les tests effectués sur 15 modèles grand public révèlent qu’aucun n’atteint une précision supérieure à 40 % pour une longueur de contexte de 32K. Les modèles éprouvent des difficultés significatives avec les indices paralinguistiques et les sons environnementaux, leur performance diminuant à mesure que la longueur de l’historique augmente, ce qui met en évidence un écart majeur dans les capacités de compréhension de l’audio long.