Appel: EvalECD'10, Numero special de le revue RNTI - sur l'evaluation des methodes en ECD

[Thierry Hamon]

Date: Wed, 07 Jul 2010 12:47:49 +0200
From: Nicolas Béchet <Nicolas.Bechet at lirmm.fr>
Message-ID: <4C345B55.3030609 at lirmm.fr>
X-url: http://www.lirmm.fr/~bechet/EvalECD/index.html


  Bonjour,

[Veuillez nous excuser en cas de réceptions multiples]

Premier appel à communications au numéro spécial de la revue RNTI
=================================================================

Pour faire suite aux éditions 2009 et 2010 de l'atelier EvalECD
(http://www.lirmm.fr/~bechet/EvalECD/index.html) organisé dans le
cadre des conférences EGC 2009 et EGC 2010 sur la problématique
importante liée à l'Evaluation des méthodes d'Extraction de
Connaissances dans les Données. En effet, de plus en plus de méthodes
sont proposées pour évaluer les approches dans divers domaines, que ce
soit, en Fouille de Données, en Intégration de Données, en Ingénierie
des Connaissances ou encore en Traitement Automatique des Langues. De
manière générale, le but des méthodes d'évaluation est d'identifier la
(ou les) méthode(s) les plus appropriée(s) à un problème donné. Ces
évaluations consistent par exemple à comparer les différentes
méthodes, en terme d'effort humain nécessaire que ce soit en amont
(préparation des données) ou en aval (validation manuelle des
résultats), en termes de pertinence, de temps d'exécution, de
résistance au bruit ou encore de robustesse aux changements de données
et/ou de domaine d'application. Notons que de nombreuses méthodes
d'évaluation ont des similitudes (mesures de précision, rappel,
F-Mesure) mais peuvent se révéler spécifiques aux domaines et/ou aux
données traitées.

Si l'on se focalise sur le cas particulier de la fouille de données la
pertinence et la cohérence des méthodes de validation actuelles
peuvent être discutées. Nous noterons principalement (1) la validation
humaine (validation confirmant (ou infirmant) des hypothèses fournies
par un (ou des) expert(s)) et (2) la validation automatique
(confrontation du modèle à des modèles de référence), qui ont leurs
limites.

(1) pose le problème de la subjectivité de ce type de validation. En
effet, des experts d'un même domaine auront des avis subjectifs et à
fortiori, n'auront que très rarement des avis similaires à un problème
donné.

(2) pose le problème du choix des modèles de référence qui ne sont pas
toujours adaptés à une approche. De plus, pour certaines tâches
spécifiques, aucun modèle de référence n'existe et seule la validation
humaine permet de mesurer la qualité d'un modèle.
Par ailleurs, certains domaines d'application possèdent peu de données
expertisées (par exemple dans le domaine biomédical), ce qui peut
engendrer des difficultés majeures dans la phase d'évaluation. Enfin,
les résultats sont souvent sensibles aux différents paramètres
utilisés qui doivent être rigoureusement pris en compte dans les
différents modèles utilisés.

L'objectif principal de ce numéro spécial est de recueillir et décrire
les techniques d'évaluation utilisées dans différents domaines et de
montrer leurs qualités et leurs limites. Un tel numéro spécial ouvert
aux différentes communautés d'Extraction et de Gestion de
Connaissances permet de compléter et/ou généraliser les travaux
présentés dans des manifestations scientifiques très spécifiques (par
exemple, ateliers de TIA'05, COLING'08 en Traitement Automatique des
Langues et la compagne dévaluation OAEI en intégration
d'informations). Ce numéro permettra ainsi de proposer un début de
solutions aux problèmes occasionnés par la diversité des méthodes
d'évaluations.


Thèmes développés (liste non limitative)
========================================
* Protocoles d'évaluation (automatiques, semi-automatiques, manuels)
* Mesures d'évaluation (Précision, Rappel, F-Mesure, Courbes ROC, ...)
* L'évaluation dans le cadre de challenges (TREC, DEFT, CLEFT, DUC,
  INEX, Pascal, OAEI, etc.)
* Tuning : spécifications des paramètres
* Construction de benchmarks
* Validation de connaissances en ECD
* Expertise humaine en TAL et en IC
* Évaluation en Intégration de Données
* Évaluation en Réconciliation et fusion de Données
* Évaluation des outils d'IHM (ergonomie, visualisation)

Dates importantes
=================
* Soumission des résumés : 30 septembre 2010
* Soumission des articles : 07 octobre 2010
* Notification aux auteurs : 30 novembre 2010
* Soumission de la version finale : 20 décembre 2010


Modalités de soumission
=======================

Recommandations aux auteurs
Dans un premier temps, une déclaration avec un résumé d'une page est à
envoyer avant le 30 septembre 2010 aux coordinateurs du numéro spécial
à l'adresse :evalecd10 at lirmm.fr.

Les articles complets au format PDF devront être soumis avant le 07
octobre 2010 à l'adresse :evalecd10 at lirmm.fr. Ils devront respecter la
feuille de style de la revue RNTI disponible sur le site http :
//www.antsearch.univ-tours.fr/rnti/.

Les articles auront une longueur de 20 à 25 pages. Ils devront être
écrits en français ou en anglais.

Coordinateurs
=============
- Fatiha Saïs (LRI/INRIA-Saclay)
- Nicolas Bechet (LIRMM)
- Mathieu Roche (LIRMM)


Comité de Rédaction (en construction)
=====================================
- Jean-Yves Antoine (LI)
- Jérôme Azé (LRI)
- Catherine Berrut (LIG)
- Sandra Bringay (LIRMM)
- Patrice Buche (INRA)
- Guillaume Cleuziou (LIFO)
- Béatrice Daille (LINA)
- Ludovic Denoyer (LIP6)
- Jean-Gabriel Ganascia (LIP6)
- Stéphane Lallich (ERIC)
- Anne Laurent (LIRMM)
- Josiane Mothe (IRIT)
- Adeline Nazarenko (LIPN)
- Nathalie Pernelle (LRI, INRIA Saclay)
- Pascal Poncelet (LIRMM)
- Chantal Reynaud (LRI, INRIA Saclay)
- Christophe Roche (LISTIC)
- François Scharffe (INRIA)
- Laurent Simon (LRI, INRIA Saclay)
- Maguelonne Teisseire (CEMAGREF)
- Alexandre Termier (LIG)
- Fabien Torre (LIFL)
- Juan Manuel Torres-Moreno(LIA)
- Anne Vilnat (LIMSI)
- Haïfa Zargayouna (LIPN)
- Pierre Zweigenbaum (LIMSI)

-------------------------------------------------------------------------
Message diffuse par la liste Langage Naturel <LN at cines.fr>
Informations, abonnement : http://www.atala.org/article.php3?id_article=48
English version       : 
Archives                 : http://listserv.linguistlist.org/archives/ln.html
                                http://liste.cines.fr/info/ln

La liste LN est parrainee par l'ATALA (Association pour le Traitement
Automatique des Langues)
Information et adhesion  : http://www.atala.org/
-------------------------------------------------------------------------