Q: Cahier de tests pour traduction et resume (+R)

[Thierry Hamon]

Q:

From: "BOUALEM Malek FTRD/DMI/LAN" <malek.boualem at rd.francetelecom.com>
Message-Id: <8C19E3FBB6467846AFF97E366D34CB60147204 at LANMHS20.rd.francetelecom.fr>

Bonjour,

Quelqu'un aurait-il par hasard (établi) un cahier de tests (ou méthode
d'évaluation) pour tester et évaluer des logiciels de traduction
automatique et/ou des logiciels de résumé ?  Merci d'avance pout toute
information utile à ce sujet.

English query :

Looking for evaluation methods for translation and/or for
summarization software.
Thank you in advance.

Malek Boualem
France Télécom R&D

------------------------------------------------------------------------

R:

From: Andrei Popescu-Belis <Andrei.Popescu-Belis at issco.unige.ch>
Message-Id: <3D22A2AC.365057F6 at issco.unige.ch>
X-url: http://www.issco.unige.ch/projects/isle/ewg.html
X-url: http://www.issco.unige.ch/projects/isle/taxonomy2/
X-url: http://www.issco.unige.ch/projects/isle/mteval-may02/
X-url: http://www.issco.unige.ch/projects/isle/mteval-april01/
X-url: http://www.issco.unige.ch/staff/andrei

Bonjour,

Dans le cadre du projet européen ISLE, nous avons un groupe
de travail sur l'évaluation de la traduction automatique :
   http://www.issco.unige.ch/projects/isle/ewg.html
Nous avons mis beaucoup de matériel à disposition sur le
web, mais une de nos thèses (précisément) est qu'il ne peut
y avoir de "cahier de charges" unique, puisque l'évaluation
dépend des besoins des utilisateurs d'un système.

Nous avons toutefois mis au point une classification des
mesures de qualité pour la TA, dans laquelle il faut choisir
des mesures en fonction des besoins :
   http://www.issco.unige.ch/projects/isle/taxonomy2/

Nous avons également organisé des ateliers de travail sur ce
sujet, qui montrent comment on met en place un protocole
d'évaluation. Le plus récent fait intervenir des métriques
humaines et automatiques:
   http://www.issco.unige.ch/projects/isle/mteval-may02/
mais je vous conseille de regarder aussi les travaux d'un
atelier antérieur :
   http://www.issco.unige.ch/projects/isle/mteval-april01/

J'espère que l'étude de ces documents vous permettra de mettre
en place un ensemble de tests qui reflètent les qualités que
vous cherchez à capturer.

Bien cordialement,
Andrei Popescu-Belis
--
ISSCO/TIM/ETI, Université de Genève
tél: (41 22) 705 86 81       40, bd du Pont d'Arve
fax: (41 22) 705 86 89       1211 Genève 4 - Suisse
   http://www.issco.unige.ch/staff/andrei

-------------------------------------------------------------------------
Message diffusé par la liste Langage Naturel <LN at cines.fr>
Informations, abonnement : http://www.biomath.jussieu.fr/LN/LN-F/
English version          : http://www.biomath.jussieu.fr/LN/LN/
Archives                 : http://listserv.linguistlist.org/archives/ln.html

La liste LN est parrainée par l'ATALA (Association pour le Traitement
Automatique des Langues)
Information et adhésion  : http://www.atala.org/
-------------------------------------------------------------------------