Évaluer les sorties LLM sans deviner

Définir les propriétés qui comptent

Les scores d'accuracy génériques protègent rarement un produit. Décidez quelles propriétés utilisateurs et métier ne peuvent pas être compromises : ancrage factuel, validité de schéma, ton, qualité de refus, latence, présence de citations ou conformité politique. Différentes fonctionnalités ont besoin de différents tableaux de bord.

Écrivez ces propriétés comme des contrôles mesurables. Une réponse ancrée doit citer des sources autorisées. Un assistant de réservation ne doit jamais inventer d'inventaire. Un aide support doit refuser les demandes de prise de contrôle de compte. L'évaluation commence par les promesses produit, pas par les classements de modèles.

Construire un jeu de données vivant

Collectez des exemples issus des incidents de production, tickets support, prompts adverses et cas limites découverts en recherche. Gardez les informations personnelles hors de la suite ou remplacez-les par des substituts synthétiques réalistes. Versionnez le dataset avec les prompts et les réglages de modèle.

Incluez des cas qui doivent échouer gracieusement. Une évaluation qui ne couvre que les chemins heureux validera des régressions dans les moments qui endommagent le plus la confiance.

• Séparez les suites hors ligne de l'échantillonnage en ligne
• Calibrez les graders automatisés avec une revue humaine périodique
• Bloquez les releases sur les régressions de propriétés critiques
• Suivez la couverture d'évaluation par parcours utilisateur

Automatiser l'ennuyeux, reviewer le subtil

Les contrôles de schéma, la détection de phrases interdites, la présence de citations et les fixtures déterministes peuvent tourner à chaque changement. Des qualités nuancées comme l'utilité ou l'empathie nécessitent encore un jugement humain échantillonné. Utilisez l'automatisation pour élargir la couverture et les humains pour garder les graders honnêtes.

Quand un modèle ou un prompt change, comparez à la baseline précédente plutôt qu'à une fantaisie absolue de perfection. La question est de savoir si le produit est devenu plus sûr et plus utile pour les utilisateurs que vous servez.

Fermer la boucle après le lancement

La production inventera des cas que votre suite n'a jamais imaginés. Réinjectez rapidement les échecs de haute sévérité dans l'évaluation. Couplez cela à la télémétrie : taux de thumbs-down, distance d'édition sur les corrections utilisateur, escalade vers des humains et achèvement de tâche.

L'évaluation n'est pas une cérémonie avant le lancement. C'est le système immunitaire continu d'un produit IA.