<!doctype html public "-//w3c//dtd html 4.0 transitional//en">

<html>

[Apologies for multiple postings]

<br> 

<p>                         

***********************     2nd Call for papers   

***********************

<center>

<p> EACL 2003 Workshop on:

<p> “Evaluation Initiatives in Natural Language Processing:

<br>are evaluation methods, metrics and resources reusable?”

<p>13 April 2003, Budapest, Hungary

<br>11th conference of the European Chapter of the

<br>Association for Computational Linguistics (April 12-17, 2003)

<br><A HREF="http://www.dcs.shef.ac.uk/~katerina/EACL03-eval">http://www.dcs.shef.ac.uk/~katerina/EACL03-eval</A></center>

<p>This is a second call for papers for the  EACL 2003 workshop on

the reuse of evaluation resources. Details

<br>on this event can be found at the workshop's webpage: <A HREF="http://www.dcs.shef.ac.uk/~katerina/EACL03-eval">http://www.dcs.shef.ac.uk/~katerina/EACL03-eval</A>

<p><b>Topics of interest:</b>

<br>We welcome submissions of both discussion-papers and papers presenting

applied experiments relevant with

<br>-but not limited to- the following topics:

<p>- cross-fertilization of evaluation methods and metrics

<br>- reuse of resources for evaluation (corpora, evaluation tools etc.)

<br>- feasibility experiments for the reuse of established evaluation methods/metrics/resources

in different NLP system types

<br>- reusability obstacles and the notion of  compositionality of

NLP tasks

<br>- evaluation needs and challenges for less strenuously evaluated system

types (e.g. multimodal dialogue systems ),

<br>   possible benefits from established evaluation practices

<br>- evaluation standards and reusability

<br>- reuse within big evaluation initiatives

<br>- application of e.g. Machine Translation methods to Information Retrieval:

implications for evaluation

<p><b>Submission format:</b>

<br>Submissions must be electronic only, and should consist of full papers

of max. 8 pages (inclusive of references, tables,

<br>figures and equations). Authors are strongly encouraged to use the

style-files suggested for the EACL main

<br>conference submissions at: <A HREF="http://ufal.ms.mff.cuni.cz/~hajic/eacl03/submission.html">http://ufal.ms.mff.cuni.cz/~hajic/eacl03/submission.html</A>

<br>Please, mail your submissions to Katerina Pastra: e.pastra@dcs.shef.ac.uk

<p><b>Important dates:</b>

<br>* Deadline for workshop paper submissions:

<br>   <b>TUESDAY,</b> <b>7 January 2003</b> (NOTE: strict deadline)

<br>* Notification of workshop paper acceptance:

<br>   TUESDAY, 28 January 2003

<br>* Deadline for camera-ready workshop papers:

<br>   THURSDAY, 13 February 2003

<br>* Workshop Date:

<br>    SUNDAY, 13 April 2003<b></b>

<p><b>Organizing Committe:</b>

<br>Katerina Pastra (University of Sheffield, UK)

<br>Yorick Wilks (University of Sheffield, UK)

<p><b>Program Committee:</b>

<br>Kalina Bontcheva  (University of Sheffield, UK)

<br>Hamish Cunningham (University of Sheffield, UK)

<br>Rob Gaizauskas (University of Sheffield, UK)

<br>Donna Harman (NIST, US)

<br>Lynette Hirschman (MITRE, US)

<br>Maghi King (ISSCO, Switzerland)

<br>Steven Krauwer (Utrecht University, Netherlands)

<br>Inderjeet Mani (MITRE, US)

<br>Joseph Mariani (LIMSI, France)

<br>Patrick Paroubek (LIMSI, France)

<br>Katerina Pastra (University of Sheffield, UK)

<br>Martin Rajman (EPFL - Switzerland)

<br>Karen Sparck-Jones (University of Cambridge, UK)

<br>Horacio Saggion (University of Sheffield, UK)

<br>Simone Teufel (University of Cambridge, UK)

<br>Yorick Wilks (University of Sheffield, UK)

<p>For any queries, please don't hesitate to contact me.

<p>Best,

<br>Katerina Pastra

<br>*************************************************************

<br>Katerina Pastra

<br>Research Associate & ILASH Research Co-ordinator

<br>Natural Language Processing Group

<br>Department of Computer Science, University of Sheffield

<br>*************************************************************

<br>Regent Court - Room G35

<br>211 Portobello Street, Sheffield, U.K.

<br>Tel. +44 114 2221945

<br>Fax  +44 114 2221810

<br><A HREF="http://www.dcs.shef.ac.uk/~katerina">http://www.dcs.shef.ac.uk/~katerina</A>

<br>*************************************************************

<br> </html>