Levée d’ambiguïtés par grammaires locales

Éric Laporte · 2025

Read Levée d’ambiguïtés par grammaires locales by Éric Laporte (2025) in the Tower of Babel, a free online library of public-domain works preserved in clean, searchable text. No sign-up. The full text is served as a plain-text file at a predictable URL, where text is present: https://antarctic-labs.com/tower-of-babel/arxiv-2510-24530.txt.

Introduction

Eric G. C. Laporte studies how local grammars can resolve part of speech ambiguity for lexical tagging, working alone and writing in French. Many words can belong to several grammatical categories, but in an actual text the context usually narrows the choice sharply. Tagging words correctly underpins spelling and grammar checking, style tools, speech synthesis, and corpus analysis.

Recent tagging systems can output multiple solutions when ambiguity remains. Laporte examines local grammars, which encode patterns in a word's immediate surroundings, as a tool for lifting that ambiguity. The article contributes to the design of tagging systems that serve as a first component in many language processing pipelines.

Catalog record

CREATORÉric Laporte
YEAR2025
COLLECTIONPAPERS
FORMATTXT
FILE SIZE36 KB
VERSION1.0
LICENSEhttp://creativecommons.org/licenses/by/4.0/
RIGHTSCC BY
SOURCEarXiv

Source: https://arxiv.org/abs/2510-24530

Browse the full library · About the Tower of Babel

Full text

The opening of the work, from the library's hosted text:

Levée d’ambiguïtés par grammaires locales Éric Laporte Abstract 1 Introduction De nombreux mots sont ambigus quant à leurs catégories grammaticales : ainsi, montre peut être nom ou verbe. Toutefois, lorsqu’un mot apparaît dans un texte, cette ambiguïté se réduit généralement beaucoup : dans Une des études les plus importantes montre que l’expérience est critique , le mot montre ne peut être qu’un verbe. Un système d’étiquetage lexical est un système qui attribue des catégories lexicales aux mots. Lever des ambiguïtés de catégories lexicales consiste à utiliser le contexte pour réduire le nombre de catégories lexicales associées aux mots. La levée des ambiguïtés de catégories lexicales est un des principaux défis de l’étiquetage lexical. Le problème d’étiqueter les mots par des catégories lexicales se pose fréquemment dans le traitement des langues naturelles, par exemple pour la correction orthographique, la vérification grammaticale ou stylistique, la reconnaissance d’expressions, la phonétisation, l’analyse de corpus de textes… En analyse syntaxique, l’étiquetage correct des mots fait partie des résultats de l’analyse, mais si on a préalablement affecté les mots de leurs catégories lexicales, le reste de l’analyse en est souvent facilité (Milne, 1986 ; Hindle, 1989 ; Rimon, Herz, 1991 ; Cutting et al., 1992). Les grands corpus désambiguïsés sont une vaste source d’informations utiles dans de nombreuses applications, et sont notamment mis à contribution pour l’apprentissage des systèmes probabilistes, mais leur étiquetage manuel est lent, coûteux et source d’erreurs. Les systèmes d’étiquetage lexical sont ainsi utiles comme composant initial de nombreux systèmes de traitement de langues naturelles. 2 Méthodologie 2.1 Les étiquettes lexicales Un système d’étiquetage lexical attribue à chaque forme d’un texte une ou plusieurs étiquettes, c’est-à-dire des codes qui renferment des informations lexicales. Si ces informations se réduisent à la catégorie grammaticale, on compte de 10 à 20 catégories lexicales. Si elles incluent d’autres données grammaticales, les catégories lexicales sont plus fines et plus nombreuses. Ces données grammaticales peuvent comporter : — la forme canonique, par exemple montrer pour montrée , ou les informations requises pour la reconstituer à partir de la forme trouvée dans le texte ; — les traits flexionnels : temps, personne, genre, nombre… ; — la délimitation des mots composés, c’est-à-dire des séquences figées comportant plusieurs mots simples séparés par des séparateurs graphiques, comme bien sûr ou traitement de texte . Dans ce cas, les composés sont étiquetés en tant que tels, par exemple Adverbe pour bien sûr . — Si les étiquettes donnent explicitement les formes canoniques, et aussi les codes de flexion (les numéros de conjugaison par exemple), toute forme peut être déduite de son étiquette. Dans la levée d’ambiguïtés lexicales, on prend rarement en compte les informations de plus haut niveau, telles que la relation syntaxique avec le prédicat (Koskenniemi, 1990). Le corpus étiqueté Brown utilise un ensemble de 87 étiquettes simples (Garside, Leech, Sampson, 1987, pp. 165-183) réutilisé dans d’autres projets. Pour le français, un ensemble d’étiquettes qui donne seulement la catégorie grammaticale et les traits flexionnels a à peu près la même taille. Dans cet article, nous décrivons des expériences en français avec des catégories lexicales qui incluent la forme canonique dans les informations lexicales, à la fois pour les mots simples et pour les mots composés. La taille de l’ensemble d’étiquettes est ainsi celle d’un dictionnaire de la langue. 2.2 La forme du texte désambiguïsé La plupart des systèmes de levée d’ambiguïtés produisent pour un texte donné une séquence de paires mot/étiquette : chaque mot reçoit une étiquette unique. Ce choix peut a priori s’appuyer sur deux présupposés : 1. qu’il est possible de mettre au point un système d’étiquetage lexical qui affecte une étiquette unique à chaque mot sans aucune erreur ; 2. ou que le fait d’attribuer à un mot dans un texte une seule étiquette fausse n’est pas un défaut sérieux d’un système d’étiquetage lexical. L’affirmation 1 n’a pas un statut clair, sauf à considérer un analyseur syntaxique comme un module d’un système d’étiquetage lexical au lieu de l’inverse : même si l’ensemble d’étiquettes est rudimentaire, l’étiquetage lexical correct de certaines phrases naturelles met en jeu la reconnaissance de leur structure syntaxique globale ou même la compréhension de leur sens. L’affirmation 2 est également contestable, surtout dans le contexte de l’analyse syntaxique : il est parfois impossible de corriger à la main les sorties d’un système d’étiquetage lexical ; or il est naturel qu’un analyseur syntaxique élimine des hypothèses, il l’est moins qu’il en crée de nouvelles avec des catégories grammaticales différentes de celles de départ. De plus, si on étiquette chaque mot d’une façon unique, même les phrases effectivement ambiguës sont représentées comme non ambiguës. Un certain nombre de systèmes récents d’étiquetage lexical (Silberztein, 1989 ; Koskenniemi, 1990 ; Rimon, Herz, 1991 ; Roche, 1992) produisent, au contraire, plusieurs solutions lorsque le texte est lexicalement ambigu ou que l’unique solution correcte ne peut pas être trouvée. Ces contributions visent à garantir un taux de silence nul : la ou les étiquettes correctes pour un mot ne doivent jamais être éliminées. Cet objectif est rarement évoqué en-dehors de ces auteurs, et peu réaliste pour les systèmes qui étiquettent chaque mot de façon unique, à moins de postuler le présupposé 1. Les étiquettes des mots d’une même phrase ne sont pas indépendantes, c’est pourquoi le résultat d’un système à plusieurs solutions pour une séquence donnée de mots est un ensemble d’une ou plusieurs séquences d’étiquettes. L’ensemble des séquences d’étiquettes sélectionnées pour une séquence d’entrée donnée est représenté sous une forme appropriée. Comme il s’agit d’un ensemble fini de séquences qui ont généralement beaucoup en commun, cette forme est toujours celle d’un automate fini acyclique, également appelé graphe orienté acyclique (DAG ou DAWG en anglais), machine à états finis ou réseau à états finis (Koskenniemi, 1990), graphe de phrase (Rimon, Herz, 1991) ou treillis de mots (Vosse, 1992). Un des avantages des automates acycliques dans ce contexte est qu’ils permettent de systématiser la représentation des ambiguïtés lexicales. Ils sont en effet utilisables avant comme après la levée des ambiguïtés, et que celles-ci soient liées aux catégories grammaticales, aux traits flexionnels, ou à la délimitation des composés (pour représenter la distinction entre un composé et une séquence de mots simples). La figure 1 illustre l’ambiguïté entre catégories grammaticales pour traverse et l’ambiguïté entre composé et mots simples pour chemin de fer . Figure 1: un automate acyclique pour Il traverse le chemin de fer. 2.3 Étiquetage initial et levée d’ambiguïtés La plupart des systèmes d’étiquetage lexical divisent la tâche en deux étapes : en premier lieu, lors d’un étiquetage initial, les formes sont considérées indépendamment de leur contexte pour dresser la liste de toutes les étiquettes pour chaque mot ; ensuite, lors de la levée d’ambiguïtés, on prend en compte le contexte pour sélectionner une partie de l’ensemble des séquences étiquetées initiales. Dans d’autres systèmes d’étiquetage lexical (Klein, Simmons, 1963 ; Dermatas, Kokkinakis, 1989 ; Pelillo, Refice, 1991 ; Brill, 1992 ; Federici, Pirrelli, 1992), les deux sous-tâches sont effectuées en même temps et un résultat désambiguïsé est construit directement, généralement pour éviter la construction d’un grand dictionnaire. Plusieurs arguments viennent en faveur de la solution modulaire. Les deux sous-tâches sont clairement définies. Une fois choisi un ensemble d’étiquettes lexicales, les deux sous-tâches

Read the complete text