Filtrage et régularisation pour améliorer la plausibilité des poids d'attention dans la tâche d'inférence en langue naturelle - Conférences TALN RECITAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Filtrage et régularisation pour améliorer la plausibilité des poids d'attention dans la tâche d'inférence en langue naturelle

Résumé

Nous étudions la plausibilité d’un mécanisme d’attention pour une tâche d’inférence de phrases (entailment), c’est-à-dire sa capacité à fournir une explication plausible pour un humain de la relation entre deux phrases. En s’appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a été montré que les poids d’attention sont peu plausibles en pratique et tendent à ne pas se concentrer sur les tokens importants. Nous étudions ici différentes approches pour rendre les poids d’attention plus plausibles, en nous appuyant sur des masques issus d’une analyse morphosyntaxique ou sur une régularisation pour forcer la parcimonie. Nous montrons que ces stratégies permettent d’améliorer sensiblement la plausibilité des poids d’attention et s’avèrent plus performantes que les approches par carte de saillance.
Fichier principal
Vignette du fichier
3845.pdf (613.75 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03701492 , version 1 (24-06-2022)

Identifiants

  • HAL Id : hal-03701492 , version 1

Citer

Duc Hau Nguyen, Guillaume Gravier, Pascale Sébillot. Filtrage et régularisation pour améliorer la plausibilité des poids d'attention dans la tâche d'inférence en langue naturelle. TALN 2022 - Traitement Automatique des Langues Naturelles, Jun 2022, Avignon, France. pp.95-103. ⟨hal-03701492⟩
82 Consultations
47 Téléchargements

Partager

Gmail Facebook X LinkedIn More