Analyse des métriques de tokenisation et leur corrélation avec les performances de traduction automatique multilingue - IRIT - Université Toulouse III Paul Sabatier
Communication Dans Un Congrès Année : 2024

Analysis of Tokenization Metrics and their Correlation with Multilingual Machine Translation Performance

Analyse des métriques de tokenisation et leur corrélation avec les performances de traduction automatique multilingue

Résumé

This article studies the tokenization outcomes produced by two subword-based tokenizers in the context of multilingual machine translation using the FLORES-200 corpus. It focuses on 9 languages from 3 families, each with varying levels of digital presence. First, we evaluate translation performance between language and family pairs. Then, we explore the potential relation between measures characterizing the tokenization results and translation performance. We aim to validate or invalidate the hypothesis that the difficulty a multilingual translation model would have in translating a text could be inferred from features related to the tokens produced by its tokenizer. The measures are calculated based on the source sentence and its expert-produced reference translated version. We could not detect strong correlation between the features related to tokens and the translation effectiveness. This preliminary study suggests however directions for future research aiming to include more qualitative features to evaluate the impact of tokenized representations on translation performance.
Cet article étudie le résultat de la tokenisation obtenu par deux tokeniseurs basés sur des sous-mots dans le contexte de la traduction automatique multilingue en utilisant le corpus FLORES-200. Il s’intéresse à 9 langues issues de 3 familles, avec différents niveaux de présence numérique. Tout d’abord nous évaluons les performances de traductions entre paires de langues et de familles de langue. Ensuite nous explorons les liens potentiels entre des mesures de caractérisation des résultats de la tokenisation et les performances de traduction. Notre objectif est de confirmer ou réfuter l’hypothèse selon laquelle la capacité d’un modèle de traduction multilingue de type encodeur-décodeur à traduire un texte peut être prédite en examinant les caractéristiques des tokens générés. Nous nous appuyons sur des mesures calculées à partir de la phrase source et de sa version traduite par un expert (version de référence), représentées sous forme de chaînes de caractères et de listes de tokens générés par le tokeniseur du modèle considéré. Nous n’avons pas détecté de corrélation fortes entre entre les caractéristiques des tokens et l’efficacité de traduction. Cette étude préliminaire propose toutefois des pistes pour de futures recherches visant à intégrer des mesures de caractérisation plus qualitatives pour évaluer l’impact des représentations tokenisées sur les performances de traduction.
Fichier principal
Vignette du fichier
JEP_TALN_RECITAL_2024_2.pdf (13.39 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04678036 , version 1 (26-08-2024)

Identifiants

  • HAL Id : hal-04678036 , version 1

Citer

Serge Molina, Josiane Mothe. Analyse des métriques de tokenisation et leur corrélation avec les performances de traduction automatique multilingue. Atelier sur l'évaluation des modèles génératifs et challence d'extraction d'information few-shot (Atelier Eval LLM 2024) @ TALN 2024,, Institut des sciences informatiques et de leurs interactions - CNRS Sciences informatiques, Jul 2024, Toulouse, France. ⟨hal-04678036⟩
53 Consultations
16 Téléchargements

Partager

More