[Corpora-List] FIRST CALL / SPECIAL ISSUE OF THE JOURNAL "TRAITEMENT AUTOMATIQUE DES LANGUES" (TAL) / deadline NOV. 20th 2006

[Patrick Paroubek]

--------------------------------------------------------------------------------
Principles of Evaluation in Natural Language Processing.

SPECIAL ISSUE OF THE JOURNAL "TRAITEMENT AUTOMATIQUE DES LANGUES" (TAL)

Deadline for submission: 20th November 2006

[Version française plus bas]

GUEST EDITORS: 
Patrick Paroubek (LIMSI-CNRS) 
Stéphane Chaudiron (MdRNT /U. Lille 3) 
Lynette Hirschman (MITRE)

FIRST CALL ANNOUNCEMENT

Just by looking at the number of publications about evaluation, it is
clear that the usage of evaluation methods has become from being only
a controversial topic to an undeniable fact. In Natural Language
Processing (NLP), such methods are used now throughout System
Development Life Cycle, for comparing different approaches about a
given problem or even during corpus development and maintenance.
The use of evaluation methods is not anymore restricted to a small
community as it was for some time. Such practices are now encountered
widely in processing of text, speech and even multimedia data. In
addition to a special international conference about evaluation in NLP
: LREC, there exists in France a national program TECHNOLANGUE which
transcends scientific barriers, since it has prolongations in
artificial vision with the TECHNOVISION program, where we find
evaluation activities about handwriting recognition and ancient
document processing.

For this special issue of TAL, we invite papers about the fundamental
principles that underlie the use of evaluation methods in NLP. We wish
to adopt a higher point of view which goes beyond the horizon of a
single evaluation campaign and have a more global approach about the
problems raised by the deployment of evaluation in NLP. Without any
prejudice, we do not wish to offer with this special issue yet another
tribune to articles relating the participation of a system in a given
evaluation campaign, or articles comparing the pros and cons of two
metrics for assessing performance in a particular task. Our intend is
to address more fundamental issues about the use of evaluation in NLP.

TOPICS

Specific topics include (but are not limited to):

1) Corpora in the evaluation process, their use, the development life
cycle, the synergy around the pair corpus - evaluation campaign, 

2) Evaluation as a source of creation of linguistic resources. What
   help does it bring in maintaining existing resources?

3) The question of re-using "found corpora" for evaluation,
i.e. corpora that exist, with some level of annotation that can be
adapted to provide rich "real world" corpora with somewhat noisy or
incomplete annotations.

4) To evaluate implies to have a reference against which to gauge a
   performance, but how is defined the reference in NLP? How should we
   deal with the problem that often the reference is not unique
   (e.g. in machine translation)?

5) Which formalisms for evaluation in NLP?

6) Which characteristics should evaluation have in NLP? Comparative,
   quantitative, qualitative... evaluation?

7) Technology Evaluation and User/Application Oriented Evaluation, how
   are these two different kinds of evaluation perceived by the NLP
   community?

8) Evaluation and scientific progress, e.g. large scale evaluation
   programs in NLP.

9) Which role does evaluation plays in the NLP scientific process.

10) Some domains of NLP are reputed easier for evaluation that others
    (parsing, semantics, translation) myth or reality?

THE JOURNAL

(see http://www.atala.org/) 
The journal TAL (Traitement Automatique des Langues) is an international journal
published since 1960 by ATALA (Association pour le Traitement Automatique des Langues) 
with the help of CNRS. It is now becoming available in electronic form, with 
print on demand. The reading and selection process remain unchanged.

LANGUAGE

Articles are written in French or in English. Submissions in English
are only accepted for non-native speakers of French.

IMPORTANT DATES.

Submission Deadline: 20/11/2006
Acceptance Notification: 22/01/2007
Revised Final Version: 16/04/2007

FORMAT

Articles (25 pages maximum, PDF format) will be sent to: Patrick Paroubek <pap at limsi.fr>
Style sheets are available on line at: http://tal.e-revues.com/appel.jsp

SPECIAL ISSUE EDITORIAL BOARD

Mohand Boughanem (IRIT)				
Frédéric Béchet (LIA, U. Avignon)		
Hervé Blanchon (IMAG)				
Jean-Francois Bonastre (LIA, U. Avignon)	
John Carroll (U. Sussex)					
Gael de Chalendar (CEA, Fontenay aux roses)	
Robert Gaizauskas (U. Sheffield)		
Guillaume Gravier (IRISA)			
Tony Hartley (U. of Leeds)			
Lori Lamel (LIMSI-CNRS)				
Dominique Laurent (Synapse)			
Joseph Mariani (LIMSI-CNRS)			
Jean-Luc Minel (Paris X)			
Adeline Nazarenko (Paris XIII)
Andrei Popescu-Belis (ISSCO, Genève)		
Gerard Sabah (LIMSI-CNRS)			
Anne Vilnat (LIMSI-CNRS)			
Claire Waast (EDF)				
Bony Webber (U. of Edimbhurg)			

TAL EDITORIAL BOARD

Salah Ait-Mokhtar (Xerox Research Centre Europe, Grenoble)
Philippe Blache (LPL, CNRS, Aix-en-Provence)
Pierrette Bouillon (ETI/TIM/ISSCO, Université de Genève, Suisse)
Didier Bourigault (ERSS, CNRS, Toulouse)
Éric de la Clergerie (INRIA-Rocquencourt)
Béatrice Daille  (LINA, Université de Nantes)
Marc El-Bèze (LIA, Université d'Avignon)
Patrice Enjalbert (GREYC, Université de Caen)
Dominique Estival (Appen, Sydney, Australie)
Éric Gaussier (Xerox Research Centre Europe, Grenoble)
Philippe Langlais (RALI, Université de Montréal, Canada)
Éric Laporte (IGM, Université de Marne-la-Vallée)
Alain Lecomte (CLIPS & INRIA-Futurs, Université Grenoble 2)
Denis Maurel (Laboratoire d'Informatique, Université François-Rabelais de Tours)
Piet Mertens (Université de Leuven, Belgique)
Fiammetta Namer (ATILF, Université Nancy 2)
Alexis Nasr (Lattice, Université Paris 7)
Patrick Paroubek (LIMSI, CNRS, Orsay)
Guy Perrier (LORIA, Université Nancy 2)
Marie-Paule Péry-Woodley  (ERSS, Université Toulouse 2)
Jean-Marie Pierrel (ATILF, Université Nancy 1)
Alain Polguère (OLST, Université de Montréal, Canada)
Martin Rajman  (EPFL, Lausanne, Suisse)
Patrick Saint-Dizier (IRIT, CNRS, Toulouse)
Évelyne Tzoukermann (Comcast/StreamSage, Washington DC, États-Unis)
François Yvon (GET/ENST & LTCI/CNRS, Paris)

--------------------------------------------------------------------------------

Principes de l'évaluation en Traitement Automatique des Langues.

NUMÉRO SPÉCIAL DE LA REVUE  "TRAITEMENT AUTOMATIQUE DES LANGUES" (TAL)

Date limite de soumission : 20 novembre 2006

RÉDACTEURS INVITÉS: 
Patrick Paroubek (LIMSI-CNRS) 
Stéphane Chaudiron (MdRNT /U. Lille 3) 
Lynette Hirschman (MITRE)

PREMIER APPEL 
Comme en atteste l'existence de nombreuses publications traitant du
sujet, l'emploi de méthodes d'évaluation est passé d'un sujet de
controverse à une réalité indéniable, aussi bien dans le cycle de
développement de systèmes de traitement automatique des langues (TAL)
que pour la comparaison d'approches concernant une problématique
particulière ou encore pour le développement et la maintenance de
corpus.

L'emploi des méthodes d'évaluation n'est plus comme ce fut le cas un
moment l'apanage d'une seule communauté, puisque ces méthodes sont
maintenant employées aussi bien pour le traitement de l'oral, de
l'écrit que du multimédia. Outre l'existence d'une conférence
internationale spécialement dédiée à l'évaluation en Traitement
Automatique des langues : LREC, il existe en France un programme
national TECHNOLANGUE, qui transcende les barrières scientifiques,
puisqu'il trouve des prolongements dans le domaine de la vision
automatique avec le programme TECHNOVISION, où l'on retrouve des
activités concernant le traitement de documents anciens et la
reconnaissance d'écriture.

Dans ce numéro spécial de TAL nous nous intéressons aux principes
fondamentaux qui sous-tendent l'emploi de méthodes d'évaluation pour
le TAL. Nous voulons adopter un point de vue qui s'élève au-delà de
l'horizon d'une campagne d'évaluation particulière, pour aborder de
manière plus globale les problèmes que pose l'emploi de méthodes
d'évaluations dans le cadre du traitement automatique des
langues. Sans préjudice aucun, notre but n'est pas d'offrir ici une
tribune supplémentaire aux articles qui par exemple relatent la
participation d'un système à une campagne particulière ou bien
comparent les mérites respectifs de différentes mesures dans
l'évaluation d'une tâche donnée, mais d'aborder des sujets de fond
concernant l'évaluation lorsqu'elle est mise en oeuvre pour le TAL.

THÈMES

Parmi les thèmes pertinents, on peut notamment citer sans limitation :

1) Les corpus dans le processus d'évaluation, leur utilisation, leur
  développement, la synergie qui s'organise autour de la paire: 
  corpus - campagne d'évaluation.

2) L'évaluation comme outil de création et de maintenance des
   ressources linguistiques.

3) La question de la réutilisation de corpus "tout trouvés" pour
   l'évaluation, c'est à dire de corpus existants, annotés
   linguistiquement et qui peuvent être adaptés pour fournir des
   corpus richement annotés et "réalistes" avec des informations
   bruitées ou incomplètes.

4) Évaluer implique de comparer par rapport à un objectif, mais
  comment définir la référence ? En particulier, quid de son unicité
  (par ex. pour la traduction automatique) ?

5) Quels formalismes pour l'évaluation en TAL ?

6) Quelles sont les caractéristiques d'une évaluation pour le TAL ?
   Comparative, quantitative, qualitative...?

7) Évaluation de technologie et évaluation centrée utilisateur,
   comment ces deux types d'évaluation sont perçus par la communauté
   TAL ?

8) Évaluation et progrès scientifique, par ex. les programmes d'évaluation en TAL.

9) La place de l'évaluation dans le processus scientifique en TAL.

10) Certains domaines du TAL (syntaxe, sémantique, traduction) se
    prêtent-ils mieux que d'autres à l'évaluation, mythe ou réalité ? 

LA REVUE

(voir http://www.atala.org/) 
La revue TAL (Traitement Automatique des Langues) est une revue
internationale éditée depuis 1960 par l'ATALA (Association pour le
Traitement Automatique des Langues) avec le concours du CNRS.  Elle va
maintenant être publiée sous format électronique, avec impression à la
demande. Cela ne change aucunement son processus de relecture et de
sélection.

LANGUE

Les articles sont écrits en français ou en anglais. Les soumissions en
anglais ne sont acceptées que pour les auteurs non francophones.

DATES IMPORTANTES

Date limite de soumission : 20/11/2006
Décision du comité : 22/01/2007
Version révisée : 16/04/2007

FORMAT

Les articles (25 pages maximum, format PDF) seront envoyés aux deux
rédacteurs invités aux adresses suivantes :

Patrick Paroubek <pap at limsi.fr>
Stéphane Chaudiron <stephane.chaudiron at u-paris10.fr>

Les feuilles de style sont disponibles en ligne sur le site:
http://tal.e-revues.com/appel.jsp

COMITÉ DE LECTURE SPÉCIFIQUE

Mohand Boughanem (IRIT)				
Frédéric Béchet (LIA, U. Avignon)		
Hervé Blanchon (IMAG)				
Jean-Francois Bonastre (LIA, U. Avignon)	
John Carroll (U. Sussex)					
Gael de Chalendar (CEA, Fontenay aux roses)	
Robert Gaizauskas (U. Sheffield)		
Guillaume Gravier (IRISA)			
Tony Hartley (U. of Leeds)			
Lori Lamel (LIMSI-CNRS)				
Dominique Laurent (Synapse)			
Joseph Mariani (LIMSI-CNRS)			
Jean-Luc Minel (Paris X)			
Adeline Nazarenko (Paris XIII)
Andrei Popescu-Belis (ISSCO, Genève)		
Gerard Sabah (LIMSI-CNRS)			
Anne Vilnat (LIMSI-CNRS)			
Claire Waast (EDF)				
Bony Webber (U. of Edimbhurg)			

COMITÉ DE RÉDACTION

Salah Ait-Mokhtar (Xerox Research Centre Europe, Grenoble)
Philippe Blache (LPL, CNRS, Aix-en-Provence)
Pierrette Bouillon (ETI/TIM/ISSCO, Université de Genève, Suisse)
Didier Bourigault (ERSS, CNRS, Toulouse)
Éric de la Clergerie (INRIA-Rocquencourt)
Béatrice Daille  (LINA, Université de Nantes)
Marc El-Bèze (LIA, Université d'Avignon)
Patrice Enjalbert (GREYC, Université de Caen)
Dominique Estival (Appen, Sydney, Australie)
Éric Gaussier (Xerox Research Centre Europe, Grenoble)
Philippe Langlais (RALI, Université de Montréal, Canada)
Éric Laporte (IGM, Université de Marne-la-Vallée)
Alain Lecomte (CLIPS & INRIA-Futurs, Université Grenoble 2)
Denis Maurel (Laboratoire d'Informatique, Université
François-Rabelais de Tours)
Piet Mertens (Université de Leuven, Belgique)
Fiammetta Namer (ATILF, Université Nancy 2)
Alexis Nasr (Lattice, Université Paris 7)
Patrick Paroubek (LIMSI, CNRS, Orsay)
Guy Perrier (LORIA, Université Nancy 2)
Marie-Paule Péry-Woodley  (ERSS, Université Toulouse 2)
Jean-Marie Pierrel (ATILF, Université Nancy 1)
Alain Polguère (OLST, Université de Montréal, Canada)
Martin Rajman  (EPFL, Lausanne, Suisse)
Patrick Saint-Dizier (IRIT, CNRS, Toulouse)
Évelyne Tzoukermann (Comcast/StreamSage, Washington DC, États-Unis)
François Yvon (GET/ENST & LTCI/CNRS, Paris)

--------------------------------------------------------------------------------