AllSummedUp : un framework open-source pour comparer les métriques d’évaluation de résumé

Tanguy Herserant \up 1, Vincent Guigue \up 1 · 2025

Read AllSummedUp : un framework open-source pour comparer les métriques d’évaluation de résumé by Tanguy Herserant \up 1, Vincent Guigue \up 1 (2025) in the Tower of Babel, a free online library of public-domain works preserved in clean, searchable text. No sign-up. The full text is served as a plain-text file at a predictable URL, where text is present: https://antarctic-labs.com/tower-of-babel/arxiv-2508-21389.txt.

Introduction

Tanguy Herserant and Vincent Guigue audited how summary quality is measured in a 2025 paper, written in French. Automatic metrics for text summarization range from the classic word-overlap score ROUGE to recent methods that ask large language models to grade. Running six representative metrics in one open framework on a standard human-rated dataset, the authors found reported scores in the literature often failed to reproduce in their setting.

Metrics that agreed best with human judgments also cost the most compute and wobbled most between runs. Because model-based grading adds randomness and hidden dependencies, the authors argue for exhaustive documentation and standardized protocols. Their unified framework supports fair, transparent comparison for future summarization research.

Catalog record

CREATORTanguy Herserant \up 1, Vincent Guigue \up 1
YEAR2025
COLLECTIONPAPERS
FORMATTXT
FILE SIZE30 KB
VERSION1.0
LICENSEhttp://creativecommons.org/licenses/by/4.0/
RIGHTSCC BY
SOURCEarXiv

Source: https://arxiv.org/abs/2508-21389

Browse the full library · About the Tower of Babel

Full text

The opening of the work, from the library's hosted text:

AllSummedUp : un framework open-source pour comparer les métriques d’évaluation de résumé Tanguy Herserant \up 1, Vincent Guigue \up 1 Abstract Résumé AllSummedUp: an open-source framework for comparing summary evaluation metrics Résumé Cet article examine les défis de reproductibilité dans l’évaluation automatique des résumés de textes. À partir d’expériences menées sur six métriques représentatives allant de méthodes classiques comme ROUGE à des approches récentes basées sur les LLM (G-Eval, SEval-Ex), nous mettons en évidence des écarts notables entre les performances rapportées dans la littérature et celles observées dans notre cadre expérimental. Nous proposons un framework unifié et open-source, appliqué au jeu de données SummEval et ouvert à de futurs jeux de données, facilitant une comparaison équitable et transparente des métriques. Nos résultats révèlent un compromis structurel : les métriques les mieux alignées avec les jugements humains sont aussi les plus coûteuses en calculs et les moins stables. Au-delà de cette analyse comparative, notre étude met en garde contre l’utilisation croissante des LLM dans l’évaluation, en soulignant leur nature stochastique, leur dépendance technique et leur faible reproductibilité. This paper investigates reproducibility challenges in automatic text summarization evaluation. Based on experiments conducted across six representative metrics ranging from classical approaches like ROUGE to recent LLM-based methods (G-Eval, SEval-Ex), we highlight significant discrepancies between reported performances in the literature and those observed in our experimental setting. We introduce a unified, open-source framework, applied to the SummEval dataset and designed to support fair and transparent comparison of evaluation metrics. Our results reveal a structural trade-off: metrics with the highest alignment with human judgments tend to be computationally intensive and less stable across runs. Beyond comparative analysis, this study highlights key concerns about relying on LLMs for evaluation, stressing their randomness, technical dependencies, and limited reproducibility. We advocate for more robust evaluation protocols including exhaustive documentation and methodological standardization to ensure greater reliability in automatic summarization assessment. Mots-clés : métriques d’évaluation, résumé automatique, reproductibilité, grands modèles de langue. Keywords : evaluation metrics, automatic summarization, reproducibility, large language models. 1 Introduction La reproductibilité des résultats expérimentaux constitue un pilier fondamental de la recherche scientifique, en particulier dans le domaine du traitement automatique du langage naturel (TALN). Pourtant, un nombre croissant d’études souligne la fragilité de cette reproductibilité, notamment face à l’essor des modèles de langue de grande taille (LLM). Ces modèles, utilisés pour évaluer ou produire des textes, manifestent une variabilité inquiétante, même dans des conditions que l’on pourrait croire déterministes Atil et al., 2025 ; Biderman et al., 2024 . Cette instabilité remet en cause la fiabilité des métriques d’évaluation, essentielles en résumé automatique où les jugements humains sont coûteux à mobiliser. En effet, comme le montrent Salinas & Morstatter, 2024 ou He et al., 2024 , la reformulation du prompt — parfois réduite à l’ajout d’un simple espace — peut affecter significativement les sorties des modèles, révélant leur extrême sensibilité aux prompts. De plus, la forte dépendance à des modèles spécifiques pose également un risque de non-reproductibilité à moyen terme, dans la mesure où certains modèles, comme GPT-3, peuvent être rendus inaccessibles ou supprimés par leurs fournisseurs Biderman et al., 2024 , rendant impossible toute reproduction a posteriori si les conditions initiales ne sont pas rigoureusement conservées. Dans ce contexte, la reproductibilité ne se limite pas à la réexécution d’un code identique, mais implique aussi la robustesse des résultats face à de légères variations de conditions expérimentales. La distinction conceptuelle entre répétabilité et reproductibilité, bien établies en métrologie Belz et al., 2021 , est rarement prise en compte dans les études sur les métriques d’évaluation. Or, de telles différences peuvent engendrer des biais dans l’interprétation des performances, comme le montrent nos résultats empiriques où certaines métriques — pourtant largement utilisées, comme BERTScore Zhang et al., 2020 ou BARTScore Yuan et al., 2021 — affichent une corrélation faible et non reproductible avec les jugements humains dans différents contextes d’exécution. Notre travail s’inscrit dans cet élan critique en proposant un framework unifié et open-source pour l’évaluation des résumés, incluant six métriques issues de la littérature. Ce cadre vise à tester rigoureusement la reproductibilité des résultats sur un jeu de données standardisé, SummEval Fabbri et al., 2021 , et a été développé pour accueillir de futurs jeux de données. En contribuant à la standardisation et à la transparence méthodologique, nous espérons non seulement faciliter la comparaison équitable entre métriques, mais aussi réduire la variabilité technique introduite par l’utilisation de modèles stochastiques, tels que les LLM. Pour ce faire, cet article est structuré comme suit : la section 2 présente l’état de l’art portant sur la reproductibilité en TALN et les différentes métriques d’évaluation de résumés. La section 3 détaille notre approche méthodologique, en décrivant le framework que nous avons développé, les métriques implémentées, les données d’évaluation utilisées, ainsi que le choix de notre mesure de corrélation. Les expérimentations menées, leurs résultats en termes de corrélation et de temps d’exécution, ainsi qu’une comparaison des métriques sont ensuite présentés dans la section 4 . Enfin, la section 5 analyse les implications et les limites de notre étude, avant que la section 6 ne vienne clore cet article en proposant des pistes pour les travaux futurs. 2 Travaux Connexes 2.1 Reproductibilité La reproductibilité représente un enjeu majeur en apprentissage automatique et notamment en traitement automatique du langage naturel (TALN) Belz et al., 2021 . Ces derniers identifient la complexité des pipelines expérimentaux, le non-déterminisme (lié aux générateurs aléatoires et à l’hétérogénéité matérielle) et la documentation incomplète comme principaux obstacles. Selon cette étude, seulement 14\text{\,}\mathrm{\%} des reproductions exactes sont réussies malgré l’accès aux ressources originales. En réponse, diverses initiatives communautaires ont vu le jour, telles que les listes de contrôle proposées lors des grandes conférences en TALN Whitaker, 2017 et des sessions dédiées à la reproductibilité expérimentale dans certains événements Branco et al., 2020 . Malgré ces efforts, Xue et al., 2023 soulignent que même des pratiques standardisées, comme l’utilisation d’une partition fixe des données, peuvent introduire des biais significatifs. Cela indique clairement un besoin de protocoles expérimentaux plus robustes pour garantir des comparaisons fiables entre modèles. 2.2 Métriques d’évaluation de résumés L’évaluation automatique des résumés s’est historiquement appuyée sur des métriques de chevauchement lexical comme ROUGE Lin, 2004 , largement adoptée grâce à sa simplicité et son rôle central dans les compétitions DUC/TAC Bhandari et al., 2020 . Toutefois, sa capacité limitée à capturer la paraphrase, l’équivalence sémantique et la cohérence factuelle a motivé le développement de nouvelles approches. Des métriques basées sur les plongements contextuels (embeddings), telles que BERTScore Zhang et al., 2020 et MoverScore Zhao et al., 2019 , évaluent la similarité sémantique entre textes au-delà du simple chevauchement lexical. D’autres, comme QuestEval Scialom et al., 2021 , qui repose sur la génération et la réponse à des questions, et FactCC Kryściński et al., 2019 , basé sur l’inférence de relations d’entaillement, visent à mesurer la factualité. Des approches probabilistes, telles que BARTScore Yuan et al., 2021 , estiment la qualité des résumés en utilisant la probabilité de génération conditionnelle. Enfin, des cadres d’évaluation multidimensionnelle, comme UniEval Zhong et al., 2022 et G-Eval Liu et al., 2023 , cherchent à unifier l’évaluation sur plusieurs axes qualitatifs, tels que la cohérence, la factualité et l’adéquation. Pour finir, SEval-Ex Herserant

Read the complete text