Évaluateur d’agents M365

Utilisez cette compétence pour aider les utilisateurs à évaluer les agents déclaratifs Microsoft 365 Copilot à l'aide de @microsoft/m365-copilot-eval. La compétence conçoit des jeux de données d'évaluation compatibles avec le schéma, exécute l'interface CLI de préversion publique, analyse les résultats et recommande des correctifs ciblés.

Par défaut, elle privilégie les projets Microsoft 365 Agents Toolkit (ATK) lorsqu’elle les détecte, mais ne s’arrête pas systématiquement si le répertoire courant n’est pas un répertoire ATK. L’interface CLI peut également évaluer des agents déployés à l’aide d’un identifiant M365_AGENT_ID explicite ou de l’option --m365-agent-id.

Utilisez toujours cette commande CLI

npx -y --package @microsoft/m365-copilot-eval@latest runevals

L’utilisation de l’ancien programme d’installation privé aka.ms, des installations globales, des commandes runevals seules, des commandes npx runevals seules, ainsi que des options --input ou --html n’est pas recommandée.

Processus d’activation

1. Identifiez l’objectif de l’utilisateur : configuration, création d’un ensemble de données, exécution d’évaluations, analyse des résultats ou mise à jour d’une suite d’évaluations existante.
2. Chargez uniquement la référence nécessaire à l’objectif actuel :
   • references/workflow.md pour le workflow complet de l’opérateur et les commandes CLI.
   • references/azure-setup.md pour les prérequis, les fichiers d'environnement et la gestion des secrets.
   • references/eval-templates.md pour la création ou la modification de jeux de données d'évaluation.
   • references/pra-framework.md pour déterminer les scénarios à générer.
   • references/result-analysis.md une fois que les résultats au format JSON/CSV/HTML sont disponibles.
   • references/guardrails.md avant d'écrire des fichiers, de gérer des secrets, de vider le cache, de se déconnecter ou de procéder au dépannage.
3. Détecter la structure du projet :
   • ATK : .env.local, .env.local.user, env\.env.local.user, m365agents.yml ou appPackage\declarativeAgent.json.
   • Non-ATK : un ensemble de données d'évaluation plus M365_AGENT_ID, --m365-agent-id ou un fichier d'environnement nommé tel que env\.env.dev.
4. Vérification des prérequis sans exposer les valeurs :
   • Node.js 24.12.0 ou version plus récente.
   • Licence Microsoft 365 Copilot et agent M365 Copilot déployé.
   • Consentement de l’administrateur du locataire pour l’application client WorkIQ.
   • TENANT_ID, point de terminaison/clé Azure OpenAI dans Foundry Models, et déploiement gpt-4o-mini recommandé/par défaut.
5. Choisissez le workflow :
   • Pas de jeu de données : créez le fichier evals\evals.json.
   • Ensemble de données existant : exécuter, analyser les résultats antérieurs ou proposer des modifications.
   • Vérification rapide : utilisez les invites intégrées.
   • Exploration : utilisez le mode interactif.

Contrat du jeu de données actuel

Générer des documents de schéma version 1.2.0 avec un tableau d'éléments racine. Ne pas générer l'ancien format PromptsObject ni le format des invites racine.

Structure minimale :

{
  "schemaVersion": "1.2.0",
  "metadata": {
    "name": "Suite d'évaluation d'agents",
    "tags": ["starter"]
  },
  "default_evaluators": {
    "Relevance": {},
    "Coherence": {}
  },
  "items": [
    {
      "prompt": "En quoi cet agent peut-il m'aider ?",
      "expected_response": "L'agent explique les fonctionnalités qu'il prend en charge sans inventer de capacités non prises en charge."
    }
  ]
}

Utilisez references\prompts-schema.json comme source de schéma locale et references\eval-templates.md pour des exemples copiables de dialogues à un tour, à plusieurs tours, d’évaluateurs et de seuils.

Noms publics des évaluateurs

Les noms d’évaluateurs sont sensibles à la casse. N’utilisez que les noms d’évaluateurs publics configurables, sauf si une source faisant autorité plus récente prouve le contraire.

Considérer ToolCallAccuracy comme obsolète/privé pour la création de contenu. Ne pas l'ajouter aux ensembles de données générés, sauf si la documentation publique actuelle de l'interface CLI ou du schéma le réintroduit explicitement.

Commandes courantes

# Vérifications de version/aide
npx -y --package @microsoft/m365-copilot-eval@latest runevals --version
npx -y --package @microsoft/m365-copilot-eval@latest runevals --help

# Première configuration / CLUF
npx -y --package @microsoft/m365-copilot-eval@latest runevals accept-eula
npx -y --package @microsoft/m365-copilot-eval@latest runevals --init-only

# Exécution par lots avec sortie JSON explicite
npx -y --package @microsoft/m365-copilot-eval@latest runevals --prompts-file evals\evals.json --output .evals\results.json

# Format HTML pour révision humaine ou CSV compatible avec les tableurs
npx -y --package @microsoft/m365-copilot-eval@latest runevals --prompts-file evals\evals.json --output .evals\results.html
npx -y --package @microsoft/m365-copilot-eval@latest runevals --prompts-file evals\evals.json --output .evals\results.csv

# Vérifications rapides
npx -y --package @microsoft/m365-copilot-eval@latest runevals --prompts "En quoi peux-tu m'aider ?" --expected "L'agent décrit son domaine de compétence."

# Environnement non-ATK ou nommé
npx -y --package @microsoft/m365-copilot-eval@latest runevals --prompts-file evals\evals.json --m365-agent-id  --env dev

N’utilisez l’option --concurrency qu’avec des valeurs comprises entre 1 et 5. Commencez par 1 pour le débogage et n’augmentez cette valeur qu’une fois la configuration stabilisée.

Sécurité liée à la version et au PATH

Avant de diagnostiquer le comportement de l’agent, vérifiez quel exécutable est en cours d’exécution :

Get-Command runevals -All
npm list -g @microsoft/m365-copilot-eval --depth=0
npm view @microsoft/m365-copilot-eval version
npx -y --package @microsoft/m365-copilot-eval@latest runevals --version
npx -y --package @microsoft/m365-copilot-eval@latest où runevals

Si la commande « runevals » seule affiche le message « Cette version de la CLI M365 Evals ne fonctionne plus et doit être mise à jour », considérez-la comme une installation PATH/globale obsolète. Relancez la commande avec la commande npx --package ...@latest ci-dessus, puis confirmez avant de supprimer les shims globaux avec npm uninstall -g @microsoft/m365-copilot-eval.

Conventions de nommage des fichiers

Ne jamais afficher ni valider des informations confidentielles, des invites contenant des données sensibles, du contenu récupéré, des journaux de débogage ou des fichiers de résultats bruts, sauf si l'utilisateur le demande explicitement et confirme que ces données peuvent être partagées en toute sécurité.

Conseils de génération

Utiliser PRA comme cadre de conception de scénarios :

• Perception : récupération, ancrage et couverture des sources.
• Raisonner : respect des instructions, synthèse, gestion des ambiguïtés et comportement de refus.
• Agir : capacités déclarées et comportement d’action. Évaluez à l’aide d’évaluateurs publics tels que Relevance, Coherence, Similarity, ExactMatch ou PartialMatch; n’utilisez pas l’ancien ToolCallAccuracy.

Demandez confirmation avant de remplacer un ensemble de données existant. Lors de l'écriture des évaluations générées, enregistrez-les d'abord dans un fichier temporaire, puis renommez-le en cas de réussite.

Conseils pour l’analyse des résultats

N'analysez que les clés d'évaluation présentes. L'absence de clés de score signifie généralement que l'évaluateur n'a pas été configuré pour cet élément, et non qu'il a échoué.

Utilisez les clés de score actuelles lorsqu’elles sont présentes : pertinence, cohérence, ancrage, similarité, citations, correspondance exacte et correspondance partielle. Regroupez les échecs en fonction de leurs causes profondes probables : problème d’instruction, problème d’ancrage, problème de citation, inadéquation avec la réponse attendue, lacune de capacité, problème d’authentification/d’environnement ou problème de qualité de l’évaluation.

N’exécutez pas d’évaluations réelles dépendantes du locataire à moins que l’utilisateur n’ait fourni ou approuvé la configuration nécessaire du locataire, de l’agent et d’Azure OpenAI.