These: Olivier Hamon, Vers une architecture generique et perenne pour l'evaluation en TAL

[Thierry Hamon]

Date: Sat, 20 Nov 2010 01:34:09 +0100
From: Olivier Hamon <hamon at elda.org>
Message-ID: <4CE71781.4030801 at elda.org>

Subject: These: Olivier Hamon, Vers une architecture generique et
 perenne pour l'evaluation en traitement automatique des langues :
 specifications, methodologies et mesures

Bonjour,

J'ai le plaisir de vous inviter à ma soutenance de thèse intitulée
"Vers une architecture générique et pérenne pour l'évaluation en
traitement automatique des langues : spécifications, méthodologies et
mesures"

La soutenance se déroulera le lundi 6 décembre à 10h30 dans la salle
B311 du LIPN, Université Paris 13 (Institut Galilée, 99 avenue
Jean-Baptiste Clément, 93430 Villetaneuse).

Le jury sera composé de :

M. Mohand Boughanem, Université Paul Sabatier (Rapporteur)

M. Khalid Choukri, ELDA (Examinateur)

M. Anthony Hartley, University of Leeds (Examinateur)

M. Daniel Kayser, Université Paris 13 (Examinateur)

M. Joseph Mariani, CNRS (Examinateur)

Mme Adeline Nazarenko, Université Paris 13 (Directrice)

M. François Yvon, Université Paris 11 (Rapporteur)


Résumé de la thèse :

Le développement de systèmes en traitement automatique des langues
(TAL) nécessite de déterminer la qualité de leurs
résultats. L'évaluation a pour but d'améliorer ces systèmes mais
suppose de formaliser dans un contexte particulier une méthodologie,
un protocole, des ressources linguistiques (RLs, les données
nécessaires à l'apprentissage et au test des systèmes) ou des mesures
d'évaluation. Nous cherchons à faciliter l'accès à l'évaluation et à
améliorer son efficacité car un important travail manuel vient
compromettre son déroulement et sa fiabilité. Nous avons formalisé le
déroulement d'une campagne d'évaluation et ses différentes phases pour
définir un cadre commun compréhensible par tous dont le point phare
concerne l'utilisation de mesures d'évaluation. Nous avons effectué
trois études sur les mesures humaines, les mesures automatiques et
l'automatisation du calcul de la qualité, et enfin la méta-évaluation
des mesures. En parallèle, elles utilisent des RLs dont les aspects
pratiques et administratifs ont leur place dans notre
architecture. L'étude des similarités entre les technologies et entre
leurs évaluations nous a permis de les hiérarchiser et d'en faire
ressortir leurs caractéristiques communes. Finalement, nous centrons
l'évaluation autour d'une architecture d'évaluation générique,
adaptable aux différentes technologies du TAL, et pérenne en
permettant la réutilisation de RLs, mesures ou méthodes au cours du
temps. Suite à des premières expérimentations, nous avons modélisé une
architecture d'évaluation qui considère l'ensemble de ces contraintes
et utilise des services Web.


Abstract :

The development of Natural Language Processing (NLP) systems needs to
determine the quality of their results. Generally, evaluation aims at
improving such systems as well as formalising a methodology, protocol,
language resources (LRs, data used for both system training and
testing) or evaluation measures for each particular context. Our
objective is to render evaluation accessible while improving its
efficiency since a manual work seriously compromises its procedure and
reliability. We have formalised the procedure for an evaluation
campaign and its different phases whose main objective is the use of
evaluation measures. This allows to define a common scope for all
users. Three different studies have been carried out on human
measures, automatic measures and the automation of quality
computation, respectively, as well as measure
meta-evaluation. Moreover, these measures use LRs and their practical
and administrative issues also have their place in our
architecture. The study of similarities between technologies and their
evaluations has allowed us to class them and highlight their common
features, as a crucial step in the integration of different
approaches. Finally, we focus our evaluation on a generic evaluation
architecture, adaptable to different NLP technnologies, and
sustainable in its reuse of LRs, measures or methods over
time. Following initial experiments, an evaluation architecture has
been defined which takes into account all the constraints found and
uses web services.


------------------------------------------------------------------------
Olivier HAMON                          hamon at elda.org
ELDA - Evaluations and Language resources Distribution Agency
55-57, rue Brillat Savarin             Tel : +33 1 43 13 33 43
75013 Paris - France                   Fax : +33 1 43 13 33 30
http://www.elda.org                    http://www.lrec-conf.org
http://catalog.elra.info               http://www.hlt-evaluation.org
------------------------------------------------------------------------

-------------------------------------------------------------------------
Message diffuse par la liste Langage Naturel <LN at cines.fr>
Informations, abonnement : http://www.atala.org/article.php3?id_article=48
English version       : 
Archives                 : http://listserv.linguistlist.org/archives/ln.html
                                http://liste.cines.fr/info/ln

La liste LN est parrainee par l'ATALA (Association pour le Traitement
Automatique des Langues)
Information et adhesion  : http://www.atala.org/
-------------------------------------------------------------------------