<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
</head>
<body bgcolor="#ffffff" text="#000099">
<small><font face="Trebuchet MS">Apologies for cross-postings<br>
French version below...<br>
</font></small><br>
<br>
<br>
<small><font face="Trebuchet MS">********************************************************************<br>
</font></small>
<blockquote><small><font face="Trebuchet MS">INFILE : Information,
Filtering, Evaluation<br>
Evaluation campaign for information filtering systems<br>
<br>
INFILE 2<br>
Call for participation<br>
<a class="moz-txt-link-abbreviated" href="mailto:info@infile.org">info@infile.org</a> <br>
<a class="moz-txt-link-freetext" href="http://www.infile.org">http://www.infile.org</a><br>
</font></small></blockquote>
<small><font face="Trebuchet MS">********************************************************************<br>
<br>
INFILE (INformation, Filtering, Evaluation) is a cross-language
filtering evaluation campaign jointly organized by CEA, University of
Lille 3 (GERiiCO) and ELDA, <br>
with the support of CLEF (Cross Language Evaluation Forum).<br>
<br>
Following the first edition already organized as a pilot track of CLEF
2008, the 2009 edition proposes two evaluation tasks:<br>
<br>
- an interactive filtering task, as in the previous campaign,<br>
- and a batch filtering task, which is a new task.<br>
<br>
The three languages concerned by INFILE are Arabic, English and French.
Systems participating <br>
to the campaign may be evaluated on the two tasks or only one task and
according to the crosslingual or monolingual environment.<br>
<br>
Corpus<br>
------<br>
<br>
The corpus consists of 300,000 news-wires in Arabic, English and French
from the news agency Agence France Presse covering the 2004-2006
period. The news-wires <br>
are related to general news and events information and are comparable
between Arabic, English and French.<br>
<br>
A set of 50 profiles will be made available in 3 languages (Arabic,
English and French), 30 of them are general news and events and 20 are
related to scientific fields.<br>
<br>
Although cross-lingual systems are encouraged, the campaign is also
open to monolingual systems.<br>
<br>
<br>
Protocol description<br>
---------------------<br>
<br>
For the interactive task, evaluation will be performed using an
automatic interrogation of test systems with a simulated user feedback.
Each system will be able to use <br>
the feedback at any time to increase performance.<br>
<br>
News-wires are transmitted to participating systems through an
automated interface. The systems return a Boolean response for each
profile using the same interface. <br>
After reception of this response, and if requested by the participant,
a feedback can be supplied, that consists of the expected profile
assignment for the document submitted. <br>
A curve of the evolution of efficiency will be computed.<br>
<br>
For the batch task, the whole corpus of documents and the set of
profiles are provided to the participants and the systems are expected
to give back the results of the filtering system.<br>
<br>
INFILE welcomes participation of any institution, academic an
industrial. The participation is free of charge and participants can
keep and use the development and evaluation <br>
data for free after the evaluations for research and development
purposes.<br>
<br>
<br>
Important Dates<br>
-----------------<br>
<br>
January 2009: Registration Opens.<br>
<br>
April 01st to May 30th, 2009 : session of Batch Filtering.<br>
<br>
June 01st to June 30th, 2009 : session of Adaptive Filtering.<br>
<br>
July 15th, 2009: Communication of Individual Results.<br>
<br>
August 30th, 2009 : Submission of Paper for CLEF.<br>
<br>
<br>
<br>
Contact<br>
---------<br>
<br>
<a class="moz-txt-link-abbreviated" href="mailto:info@infile.org">info@infile.org</a><br>
<a class="moz-txt-link-freetext" href="http://www.infile.org">http://www.infile.org</a><br>
</font></small><small><font face="Trebuchet MS"><br>
</font></small><small><font face="Trebuchet MS"> <br>
[French version]<br>
<br>
********************************************************************<br>
</font></small>
<blockquote><small><font face="Trebuchet MS">INFILE : INformation,
FILtrage, Evaluation<br>
Campagne d’évaluation des systèmes de filtrage d’information<br>
<br>
INFILE 2<br>
Appel à participation<br>
<a class="moz-txt-link-abbreviated" href="mailto:info@infile.org">info@infile.org</a><br>
<a class="moz-txt-link-freetext" href="http://www.infile.org">http://www.infile.org</a><br>
</font></small></blockquote>
<small><font face="Trebuchet MS">********************************************************************<br>
<br>
InFile est une campagne d'évaluation des systèmes de filtrage
d'information interlingue en contexte de veille, organisée par le CEA
LIST, l’Université de Lille 3 (Lab. GERiiCO) <br>
et l’agence ELDA, qui s’inscrit dans le cadre des campagnes CLEF (Cross
Language Evaluation Forum).<br>
<br>
<br>
Après l’édition 2008, déjà organisée dans le cadre de CLEF, la deuxième
édition de INFILE propose deux tâches pour l’évaluation :<br>
<br>
- comme en 2008, une première tâche concerne le filtrage
adaptatif ;<br>
- une seconde tâche, qui est nouvelle, concerne le filtrage de
documents en mode non-adaptatif (c’est-à-dire par lot).<br>
<br>
<br>
Les langues concernées par l’évaluation sont l’anglais, l’arabe et le
français. Les participants peuvent s’inscrire aux deux tâches ou à
l’une ou l’autre. Bien que l’évaluation <br>
en contexte interlingue soit encouragée, les participants peuvent
choisir de faire un filtrage monolingue.<br>
<br>
<br>
Corpus<br>
------<br>
<br>
Le corpus d’évaluation est constitué de dépêches de l'agence de presse
AFP en trois langues : anglais, arabe et français, il comprend environ
100 000 dépêches par langue, <br>
publiées entre 2004 et 2006.<br>
<br>
<br>
Un ensemble de 50 profils sera disponible dans les trois langues, dont
30 profils sur des sujets d'intérêt général et 20 profils portant sur
l'information scientifique et technique.<br>
<br>
<br>
Description du protocole<br>
--------------------------<br>
<br>
Pour se rapprocher des conditions d’un usage réel de systèmes, le
protocole (tâches, métriques, volumétrie du corpus, modèles de profils,
types d’assesseurs...) a été développé <br>
en concertation avec des experts du domaine sur la base d’un ensemble
de vérités-terrain, relevées dans une pratique de veille avec systèmes
de filtrage.<br>
<br>
<br>
Pour le filtrage adaptatif : les participants disposeront des profils
et recevront les dépêches l'une après l'autre. Ils retourneront les
résultats pour chacune des dépêches. A chaque réponse, <br>
une validation des résultats pourra être fournie automatiquement aux
systèmes adaptatifs pour une possibilité d'amélioration. Une métrique
est prévue pour évaluer le degré d’adaptabilité <br>
des systèmes en question.<br>
<br>
<br>
Pour le filtrage en mode non-adaptatif : les participants disposeront
de la totalité du corpus et des profils et retourneront les documents
jugés pertinents par rapport à chaque profil.<br>
<br>
La campagne INFILE s’adresse à tout organisme industriel ou académique
disposant d’un système de filtrage d’information monolingue ou
interlingue, traitant au moins une des langues <br>
de la campagne (anglais, arabe, français). La participation se fait sur
la base du volontariat sans soutien financier, en échange du kit
d'évaluation distribué, de la possibilité d'assister <br>
aux réunions de travail de la campagne et de bénéficier ainsi d’une
structure d’échange et de réflexion regroupant des développeurs,
industriels et chercheurs.<br>
<br>
<br>
Pour signaler votre intention de participer, merci d’envoyer un message
à <a class="moz-txt-link-abbreviated" href="mailto:info@infile.org">info@infile.org</a> au plus tard le 01/04/09. Les organismes acceptés
seront invités à signer une convention réglementant <br>
l’utilisation des données du projet et s'engagent à accepter la
publication des résultats. Nous rappelons que ce projet n’est pas
limité aux acteurs français.<br>
<br>
<br>
Dates importantes<br>
--------------------------<br>
<br>
15/01/09 : Inscription des participants (avec diffusion des
recommandations et vérifications techniques).<br>
<br>
01/04/09 au 30/05/09 : session du filtrage non-adaptatif.<br>
<br>
01/06/09 au 30/06/09 : session du filtrage adaptatif.<br>
<br>
15/07/09 : Communication des résultats (scores) aux participants.<br>
<br>
15/08/09 : Réception des soumissions d’articles des participants.<br>
<br>
30/08/09 : Soumission de l’article final à CLEF.<br>
<br>
<br>
Le détail de cet appel (définition des tâches et des métriques, thèmes
et applications, déroulement de la campagne, calendrier définitif…) est
disponible à l’adresse du projet : <a class="moz-txt-link-freetext" href="http://www.infile.org">http://www.infile.org</a>.<br>
</font></small><br>
</body>
</html>