Appel: Premiere campagne PASSAGE ouverte, Evaluation des analyseurs syntaxique du francais

[Thierry Hamon]

Date: Wed, 08 Aug 2007 18:02:51 +0200
From: Paroubek <pap at limsi.fr>
Message-Id: <E1IInzn-0002Fq-QB at localhost.localdomain>
X-url: http://atoll.inria.fr/passage/home-fr.html
X-url: http://www.technolangue.net/article.php3?id_article=198
X-url: http://www.elda.org/article138.html
X-url: http://www.limsi.fr/Recherche/CORVAL/easy/PEAS_reference_annotations_v1.6.html



Appel à participation à la première campagne d'évaluation PASSAGE des
analyseurs syntaxiques du français.

Le projet PASSAGE (ANR-06-MDCA-013) organise une campagne d'évaluation
des analyseurs syntaxiques du français en continuité avec la campagne
d'évaluation EASY du projet EVALDA (programme TECHNOLANGUE).

Le but de cette campagne est double, d'abord tester le kit
d'évaluation produit par le projet EASY, ensuite tester de nouvelles
hypothèses pour un protocole amélioré d'évaluation des analyseurs
syntaxiques. Si elles sont validées ces nouvelles hypothèses seront
deployées pour la campagne d'évaluation finale du projet PASSAGE (en
2009) qui s'effectuera sur un corpus de grande taille.

Cette campagne est ouverte à toutes les équipes qui désirent tester un
analyseur syntaxique du français à la seule condition de s'inscrire
(pour plus d'information sur les modalités d'inscription, écrire à
pap at limsi.fr).

La participation se fait sur la base du volontariat sans soutien
financier. En échange du kit d'évaluation (outils et données), de la
possibilité d'assister aux réunions de travail de la campagne et des
données anonymisées des autres participants, une équipe participante
s'engage à retourner des données annotées syntaxiquement au format
spécifié par les organisateurs, selon un calendrier convenu en accord
avec les organisateurs. La publication des résultats se fera de
manière anonyme.

Deux pistes d'évaluation seront proposées :

1) une piste EASY "classique" (obligatoire), qui suivra le protocole
EASY et réutilisera l'intégralité des données EASY (corpus de test et
de référence, pour plus d'informations consulter le lien mentionné
plus bas).

2) une piste EASY «sans segmentation a priori» (optionnelle), qui
testera différentes variations du protocole d'évaluation (données non
segmentées a priori en mots et en phrases, évaluation effectuée après
réalignement dynamique des données), calculs de performance
complémentaires sur la détection des frontières de mots et de phrases,
sur le nombre de mots inconnus des analyseurs etc.

Le calendrier prévu est le suivant :

Juillet 2007: 
a) ouverture des inscriptions (signature d'un engagement de
participation).
b) mise à disposition du kit d'évaluation EASY (corpus et outils)

Aout-Septembre 2007:
Finalisation du protocole de la piste exploratoire EASY «sans
segmentation a priori»

Octobre 2007:
Déroulement des tests sur une fenêtre glissante de 2 semaines.

Novembre 2007:
Dépouillement des données

Décembre 2007:
Atelier de clôture.

Comité d'organisation:
Patrick Paroubek (LIMSI-CNRS, pap at limsi.fr)
Anne Vilnat (LIMSI-CNRS, anne at limsi.fr)
Isabelle Robba (LIMSI-CNRS, isabelle at limsi.fr)
Eric de la Clergerie (INRIA-ATOLL, Eric.De_La_Clergerie at inria.fr)
Christelle Ayache (ELDA, ayache at elda.fr)

Comité scientifique:
<en cours de constitution>

Quelques liens utiles

Le site de PASSAGE:
   http://atoll.inria.fr/passage/home-fr.html

Le site de EASY sur le portail TECHNOLANGUE
   http://www.technolangue.net/article.php3?id_article=198   

Le site de EASY sur le portail ELDA
   http://www.elda.org/article138.html

Le Guide d'annotation EASY avec un mini-corpus d'exemples annotés.
   http://www.limsi.fr/Recherche/CORVAL/easy/PEAS_reference_annotations_v1.6.html



-------------------------------------------------------------------------
Message diffuse par la liste Langage Naturel <LN at cines.fr>
Informations, abonnement : http://www.atala.org/article.php3?id_article=48
English version       : 
Archives                 : http://listserv.linguistlist.org/archives/ln.html
                                http://liste.cines.fr/info/ln

La liste LN est parrainee par l'ATALA (Association pour le Traitement
Automatique des Langues)
Information et adhesion  : http://www.atala.org/
-------------------------------------------------------------------------