Étude des Protocoles d' Évaluation Humaine pour la Traduction de Documents - Productions scientifiques du CLILLAC-ARP
Rapport Année : 2024

Survey of existing Human Metrics and Protocols for Document-Level Machine Translation

Étude des Protocoles d' Évaluation Humaine pour la Traduction de Documents

Résumé

This report provides an overview of the various protocols for evaluating the quality of human translation, machine translation and/or post-editing. After a brief summary of the automatic metrics developed in NLP, we focus on the evaluation protocols implemented by humans. Psychological approaches are distinguished from textual or discursive approaches. We discuss in more detail the description of textual approaches, i.e. mainly error typologies, in theoretical, professional and pedagogical contexts for evaluating the quality of human and machine translation and post-editing. Finally, we develop the new typology adapted to these three types of production, which is being implemented in the MaTOS project. The manual for this typology is presented in the appendix.
Ce rapport fait le point sur les différents protocoles qui permettent d’évaluer la qualité de la traduction humaine, de la traduction automatique et/ou de la post-édition. Après un bref résumé sur les métriques automatiques développées en Traitement Automatique des Langues (TAL) nous nous concentrons sur les protocoles d’évaluation mis en oeuvre par des humains. Les approches psychologistes sont distinguées des approches textuelles ou discursives. Nous abordons de manière plus approfondie la description des approches textuelles, à savoir, principalement des typologies d’erreurs, dans les contextes théoriques, professionnels et pédagogiques pour évaluer la qualité de la traduction humaine et automatique et de la post-édition. Finalement, nous développons la nouvelle typologie adaptée à ces trois types de production qui est mise en œuvre dans le projet MaTOS. Le manuel de cette typologie est présenté en annexe.
Fichier principal
Vignette du fichier
d4-1.1.pdf (2.78 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04700009 , version 1 (17-09-2024)

Licence

Identifiants

  • HAL Id : hal-04700009 , version 1

Citer

Maud Bénard, Natalie Kübler, Alexandra Mestivier, Joachim Minder, Lichao Zhu. Étude des Protocoles d' Évaluation Humaine pour la Traduction de Documents. Projet ANR MaTOS. 2024, livrable D4-1.1, 83 p. ⟨hal-04700009⟩
25 Consultations
20 Téléchargements

Partager

More