Appel: Numero special de le revue RNTI - sur l'evaluation des methodes en ECD

[Thierry Hamon]

Date: Tue, 14 Sep 2010 09:40:23 +0200
From: Nicolas Béchet <nicolas.bechet at inria.fr>
Message-ID: <4C8F26E7.50403 at inria.fr>
X-url: http://www.lirmm.fr/~bechet/EvalECD/


Bonjour,

[Veuillez nous excuser en cas de réceptions multiples]

Deuxième appel à communications au numéro spécial de la revue RNTI
=================================================================

Pour faire suite aux éditions 2009 et 2010 de l'atelier EvalECD
(http://www.lirmm.fr/~bechet/EvalECD/) organisé dans le cadre des
conférences EGC 2009 et EGC 2010 sur la problématique importante liée
à l'Evaluation des méthodes d'Extraction de Connaissances dans les
Données. En effet, de plus en plus de méthodes sont proposées pour
évaluer les approches dans divers domaines, que ce soit, en Fouille de
Données, en Intégration de Données, en Ingénierie des Connaissances ou
encore en Traitement Automatique des Langues. De manière générale, le
but des méthodes d'évaluation est d'identifier la (ou les) méthode(s)
les plus appropriée(s) à un problème donné. Ces évaluations consistent
par exemple à comparer les différentes méthodes, en terme d'effort
humain nécessaire que ce soit en amont (préparation des données) ou en
aval (validation manuelle des résultats), en termes de pertinence, de
temps d'exécution, de résistance au bruit ou encore de robustesse aux
changements de données et/ou de domaine d'application. Notons que de
nombreuses méthodes d'évaluation ont des similitudes (mesures de
précision, rappel, F-Mesure) mais peuvent se révéler spécifiques aux
domaines et/ou aux données traitées.

Si l'on se focalise sur le cas particulier de la fouille de données la
pertinence et la cohérence des méthodes de validation actuelles
peuvent être discutées. Nous noterons principalement (1) la validation
humaine (validation confirmant (ou infirmant) des hypothèses fournies
par un (ou des) expert(s)) et (2) la validation automatique
(confrontation du modèle à des modèles de référence), qui ont leurs
limites.

(1) pose le problème de la subjectivité de ce type de validation. En
effet, des experts d'un même domaine auront des avis subjectifs et à
fortiori, n'auront que très rarement des avis similaires à un problème
donné.

(2) pose le problème du choix des modèles de référence qui ne sont pas
toujours adaptés à une approche. De plus, pour certaines tâches
spécifiques, aucun modèle de référence n'existe et seule la validation
humaine permet de mesurer la qualité d'un modèle.  Par ailleurs,
certains domaines d'application possèdent peu de données expertisées
(par exemple dans le domaine biomédical), ce qui peut engendrer des
difficultés majeures dans la phase d'évaluation. Enfin, les résultats
sont souvent sensibles aux différents paramètres utilisés qui doivent
être rigoureusement pris en compte dans les différents modèles
utilisés.

L'objectif principal de ce numéro spécial est de recueillir et décrire
les techniques d'évaluation utilisées dans différents domaines et de
montrer leurs qualités et leurs limites. Un tel numéro spécial ouvert
aux différentes communautés d'Extraction et de Gestion de
Connaissances permet de compléter et/ou généraliser les travaux
présentés dans des manifestations scientifiques très spécifiques (par
exemple, ateliers de TIA'05, COLING'08 en Traitement Automatique des
Langues et la compagne dévaluation OAEI en intégration
d'informations). Ce numéro permettra ainsi de proposer un début de
solutions aux problèmes occasionnés par la diversité des méthodes
d'évaluations.


Thèmes développés (liste non limitative)
========================================
* Protocoles d'évaluation (automatiques, semi-automatiques, manuels)
* Mesures d'évaluation (Précision, Rappel, F-Mesure, Courbes ROC, ...)
* L'évaluation dans le cadre de challenges (TREC, DEFT, CLEFT, DUC, 
INEX, Pascal, OAEI, etc.)
* Tuning : spécifications des paramètres
* Construction de benchmarks
* Validation de connaissances en ECD
* Expertise humaine en TAL et en IC
* Évaluation en Intégration de Données
* Évaluation en Réconciliationet fusion de Données
* Évaluation des outils d'IHM (ergonomie, visualisation)

Dates importantes
=================
* Soumission des résumés : 30 septembre 2010
* Soumission des articles : 07 octobre 2010
* Notification aux auteurs : 30 novembre 2010
* Soumission de la version finale : 20 décembre 2010


Modalités de soumission
=======================

Recommandations aux auteurs
Dans un premier temps, une déclaration avec un résumé d'une page est à
envoyer avant le 30 septembre 2010 aux coordinateurs du numéro spécial
à l'adresse : evalecd10 at lirmm.fr.

Les articles complets au format PDF devront être soumis avant le 07
octobre 2010 à l'adresse :evalecd10 at lirmm.fr. Ils devront respecter la
feuille de style de la revue RNTI disponible sur le site
http://www.antsearch.univ-tours.fr/rnti/.

Les articles auront une longueur de 20 à 25 pages. Ils devront être
écrits en français ou en anglais.

Coordinateurs
=============
- Fatiha Saïs (LRI/INRIA-Saclay)
- Nicolas Bechet (INRIA)
- Mathieu Roche (LIRMM)


Comité de Rédaction (en construction)
=====================================
- Jean-Yves Antoine (LI)
- Jérôme Azé (LRI)
- Catherine Berrut (LIG)
- Sandra Bringay (LIRMM)
- Patrice Buche (INRA)
- Guillaume Cleuziou (LIFO)
- Béatrice Daille (LINA)
- Ludovic Denoyer (LIP6)
- Jean-Gabriel Ganascia (LIP6)
- Stéphane Lallich (ERIC)
- Anne Laurent (LIRMM)
- Josiane Mothe (IRIT)
- Adeline Nazarenko (LIPN)
- Nathalie Pernelle (LRI, INRIA Saclay)
- Pascal Poncelet (LIRMM)
- Chantal Reynaud (LRI, INRIA Saclay)
- Christophe Roche (LISTIC)
- François Scharffe (INRIA)
- Laurent Simon (LRI, INRIA Saclay)
- Maguelonne Teisseire (CEMAGREF)
- Alexandre Termier (LIG)
- Rallou Thomopoulos (INRA)
- Fabien Torre (LIFL)
- Juan Manuel Torres-Moreno(LIA)
- Anne Vilnat (LIMSI)
- Haïfa Zargayouna (LIPN)
- Pierre Zweigenbaum (LIMSI)

-------------------------------------------------------------------------
Message diffuse par la liste Langage Naturel <LN at cines.fr>
Informations, abonnement : http://www.atala.org/article.php3?id_article=48
English version       : 
Archives                 : http://listserv.linguistlist.org/archives/ln.html
                                http://liste.cines.fr/info/ln

La liste LN est parrainee par l'ATALA (Association pour le Traitement
Automatique des Langues)
Information et adhesion  : http://www.atala.org/
-------------------------------------------------------------------------