Appel: TALN03: Evaluation des analyseurs syntaxiques

[alexis.nasr at LINGUIST.JUSSIEU.FR]

Conférence associée à TALN'2003 : Evaluation des analyseurs
syntaxiques

------------ RAPPEL : DATE LIMITE DE SOUMISSION :  JEUDI 20 MARS
2003
-----------------

Comité d'organisation :
=====================

Salah Ait-Mokhtar - Xerox, Grenoble
Laura Monceaux - LIMSI, Orsay
Patrick Paroubek - LIMSI, Orsay
Jean-Marie Pierrel - LORIA, Nancy
Isabelle Robba - LIMSI, Orsay
Anne Vilnat - LIMSI, Orsay

Comité Scientifique :
===================

Anne Abeillé - LLF, Paris VII
Salah Ait-Mokhtar - Xerox, Grenoble
Philippe Blache - LPL, Aix-en-Provence
John Carroll - University of Sussex, Royaume-Uni
Khalid Choukri - ELRA, Paris
Didier Bourigault - ERSS, Toulouse
Veronique Gendner - TALANA, Paris VII & LIMSI-CNRS, Orsay
Michèle Jardino - LIMSI-CNRS, Orsay
Joseph Mariani - Ministère de la Jeunesse, de l'Education
                 nationale et de la Recherche, Paris
Laura Monceaux - LIMSI-CNRS, Orsay
Patrick Paroubek - LIMSI-CNRS, Orsay
Jean-Marie Pierrel - LORIA, Nancy
Martin Rajman - EPFL, Lausanne
Isabelle Robba - LIMSI-CNRS, Orsay
Jacques Vergne - GREYC, Caen
Anne Vilnat - LIMSI-CNRS, Orsay
Eric Wehrli - LATL, Genève
Pierre Zweigenbaum - STIM/AP-HP, Paris

Thématique :
==========


Depuis une dizaine d'années, avec l'apparition des outils de recherche
d'information sur le web, de nouvelles techniques d'analyse syntaxique
plus robustes ont vu le jour. Les analyseurs partiels construisent une
analyse parfois minimale, incomplète, mais cela quels que soient la
taille et le

contenu des données à traiter. D'autre part, les analyseurs qui
tentent de produire systématiquement une analyse "complète", ou la
plus complète possible continuent d'améliorer leure résultats.

Devant cette diversité d'offre en matière d'analyseur, il est
intéressant voire primordial de proposer une méthodologie permettant
de les évaluer.

Celle-ci devant inclure :
     - la définition d'un format d'annotation permettant une large
       couverture
       des phénomènes syntaxiques;
     - le choix d'un corpus et son annotation manuelle (ou
       semi-automatique)
       dans ce format d'annotation;
     - la définition d'un ensemble de mesures permettant
       l'évaluation;
     - la mise au point des outils aussi bien d'annotation, que
       de transcription ou d'évaluation.

Pour l'anglais, les métriques et les corpus annotés dans le cadre de
la campagne PARSEVAL sont aujourd'hui remis en cause : ils ne sont
ouverts ni à d'autres langues ni à de nouveaux formats d'analyse (voir
l'atelier de la conférence LREC 2002 : Beyond Parseval towards
improved evaluation measures for parsing systems ).

Pour le français, la campagne d'évaluation EVALDA/EASY du programme
technolangue (ministère délégué à la recherche et aux nouvelles
technologies) qui débute servira de lieu d'expérimentation pour tester
de nouvelles approches pour l'évaluation des analyseurs syntaxiques
pour le français.

Le but de cet atelier est de développer une réflexion autour des
méthodologies d'évaluation, des corpus , des métriques, des outils et
des formalismes pour l'évaluation des analyseurs syntaxiques du
français.

Modalités et format de soumission :
=================================

Dans cet atelier, les contributions attendues pourront porter sur l'un
des thèmes suivants :

     - les méthodologies d'évaluation
     - les métriques d'évaluation (choix, outils ...)
     - l'annotation des corpus (choix, outils ...)
     - les corpus
     - les outils de projection d'un analyseur dans un formalisme

Des articles prospectifs sur l'évaluation et les analyseurs
syntaxiques seront
 également les bienvenus.


Les articles soumis devront être rédigés en français ou en anglais et
ne pas dépasser 10 pages en suivant les consignes de la conférence
principale TALN'2003 :
http://www.sciences.univ-nantes.fr/irin/taln2003/page/info-bienvenue.html

Les soumissions devront parvenir au comité d'organisation avant le
jeudi 20 mars 2003, sous forme électronique sous format pdf, adressées
à

    mailto: monceaux at limsi.fr

En cas d'impossibilité d'envoi électronique, une soumission "papier"
pourra être retournée à l'adresse suivante :

   Laura Monceaux
   LIMSI - CNRS / Université Paris Sud
   Bat 508 - BP 133
   91403 Orsay Cedex

Calendrier :
===========

Date limite de soumission : >>> Jeudi 20 mars 2003 <<<

Notification aux auteurs : Lundi 14 avril 2003

Version finale (prêt-à-clicher) : Lundi 28 avril 2003








-------------------------------------------------------------------------
Message diffusé par la liste Langage Naturel <LN at cines.fr>
Informations, abonnement : http://www.biomath.jussieu.fr/LN/LN-F/
English version          : http://www.biomath.jussieu.fr/LN/LN/
Archives                 : http://listserv.linguistlist.org/archives/ln.html

La liste LN est parrainée par l'ATALA (Association pour le Traitement
Automatique des Langues)
Information et adhésion  : http://www.atala.org/
-------------------------------------------------------------------------