Sujet de these: Evaluation adaptative de systemes de transcription en contextes applicatifs, CIFRE, LNE

[Thierry Hamon]

Date: Wed, 4 Apr 2012 16:41:57 +0200
From: "Pasquier Audrey" <audrey.pasquier at lne.fr>
Message-ID: <3D971A256325624A98ED1993E3BF00B5017CEA4B at TMSG.intra.lne>
X-url: http://www.lne.fr/


Sujet de thèse : Evaluation adaptative de systèmes de transcription en
contextes applicatifs

Ecole Doctorale : ED 427 - Université Paris-Sud 11

Directeur de thèse : S. Rosset (rosset at limsi.fr), co-directeur:
O. Galibert (olivier.galibert at lne.fr)

Entreprise : LNE-Laboratoire National de métrologie et d’Essais 
        équipe Traitement de l’information multimedia

Le Laboratoire National de Métrologie et d'Essais (LNE), EPIC de 760
personnes, couvre plusieurs domaines d'activités en tant que laboratoire
d'essais, expert-technique, laboratoire national de métrologie,
organisme de recherche et organisme de certification. Il intervient dans
huit secteurs différents : métrologie, produits de consommation,
électrotechnique, santé, emballage, construction, transport et
environnement.

Ces dernières années, le LNE a étendu son domaine d'intervention à
l'évaluation des systèmes de Traitement Automatique du Langage
(TAL). L'équipe de recherche participant à ce projet travaille sur
l'évaluation et la qualification de systèmes d'acquisition, de
traitement, de restitution et de stockage du signal (image et son). Le
LNE est un organisme indépendant des développeurs de systèmes et joue
ainsi un rôle de tiers neutre et de confiance dans l’organisation des
évaluations.


Unités de recherche :
        LIMSI - Laboratoire d'Informatique pour la Mécanique et les
        Sciences de l'Ingénieur- UPR3251
           Groupe Traitement de la Parole (TLP)
Le groupe TLP est reconnu internationalement pour ses travaux sur le
        traitement de la langue orale et en particulier pour ses
        développements sur la reconnaissance de la parole. Le groupe TLP
        conduit des recherches multidisciplinaires sur de nombreux
        sujets, dont la reconnaissance de la parole, la linguistique de
        corpus, l'analyse d'erreurs, l'interaction conversationnelle, la
        recherche d'informations précises dans des données de parole. Il
        est ou a été organisateur de campagnes d'évaluation de systèmes
        de recherche d'informations précises dans des données de parole
        (Question Answering on Speech Transcripts} de 2007 à 2009,
        Quaero Entités Nommées Structurées depuis 2009).
        LPP - Laboratoire de Phonétique et de Phonologie- UMR 7018
Le LPP développe une forte activité dans le domaine émergent de la
phonétique de corpus oraux, en particulier avec le LIMSI. Il est
impliqué dans la production de corpus de parole et aux techniques
d'annotation et de correction semi-automatique de corpus aux niveaux
phonétiques et phonologiques.

Financement : bourse CIFRE

Mots clés : Evaluation, reconnaissance automatique de la parole,
traitement automatique des langues, combinaison de systèmes

Résumé :
Depuis une vingtaine d'années,  l’évaluation de la transcription de la
parole accompagne et stimule les progrès en traitement automatique de la
parole.  Des domaines comme la recherche d'information (RI), la
détection et l'extraction d'entités nommées à partir de données
textuelles font également appel à des métriques et des campagnes
d'évaluation bien maîtrisées. En revanche, des systèmes de RI à partir
de données audio (notre exemple d’application complexe à base de
transcription automatique) nécessitent une étape intermédiaire de
transcription automatique, et posent de nouveaux défis de combinaison de
métriques et de paradigmes d'évaluation.

Il s’agit de proposer des mesures permettant à la fois d’évaluer les
différents modules que comprend une application complexe ainsi que
d’optimiser l’application complète. Des transcriptions automatiques de
parole utilisées en entrée d’un module de RI, permettant de réaliser une
recherche d’information sur des documents audio. Ce projet de thèse vise
à répondre aux questions suivantes : 

Où se situent les erreurs des systèmes de transcription de parole  et
quels sont les niveaux (acoustique, phonologique, syntaxique…) qui
posent problème pour l’application à réaliser ?

Quel impact ont ces erreurs sur les performances d’un module utilisant
ces transcriptions ?

Comment combiner les métriques pour optimiser l’application complexe ?

L’objectif est de définir des métriques permettant de quantifier
l’impact des erreurs de transcription sur les modules applicatifs en
aval. De manière complémentaire, les travaux viseront également à mieux
caractériser les modules applicatifs en termes de zones de tolérance par
rapport à des erreurs de transcription en entrée. Dans le cadre de cette
thèse le module applicatif se limitera à la recherche d’information et
plus particulièrement  aux détection et extraction des entités nommées.


Candidature : Les candidats sont invités à envoyer une lettre de
motivation et un CV, avant le 17 avril 2012 à A.PASQUIER à recrut at lne.fr
en précisant la référence PA/THLANG/DE

Références :

O. Galibert, S. Rosset, C. Grouin, P. Zweigenbaum, and L. Quintard. «
Structured and extended named entity evaluation in automatic speech
transcriptions ». In IJCNLP 2011, 2011.

S. Galliano, E. Geoffrois, D. Mostefa, K. Choukri, J. F. Bonastre, and
G. Gravier. « The ESTER phase II evaluation campaign for the rich
transcription of French broadcast news. » In Proceedings of
International Conference on Speech Communication and Technology (ISCA,
Interspeech 2005), volume 1, pages 1149–1152, Lisbonne, Portugal,
Septembre 2005.

S. Galliano, G. Gravier, and L. Chaubard. « The ester 2 evaluation
campaign for the rich transcription of french radio broadcasts ». In
Interspeech 2009, 2009.

H. Jiang. « Confidence measures for speech recognition : a survey. »
Speech Communication Journal, 45:455–470, 2005.

H. Mangu, E. Brill, and Stolcke A. « Finding consensus in speech
recognition: Word error minimization and other applications of confusion
networks. » Computer Speech and Language, 14(4):373–400, 2000.

J. Mauclair. Mesures de confiance en traitement automatique de la parole
et applications. PhD thesis, Université du Maine, 2006.

J. Mauclair, Y. Estève, and P. Deléglise. « Automatic detection of well
recognized words in automatic speech transcription. » In LREC, Gênes,
Italie, 2006.

Juliette Kahn, Aude Giraudel, Matthieu Carré, Olivier Galibert and
Quintard Ludovic, 2012, « REPERE : premiers résultats d'un défi autour
de la reconnaissance multimodale des personnes », Journées d’Etudes sur
la Parole à Grenoble, Juin 2012

Guillaume Gravier, Gilles Adda, Niklas Paulsson, Matthieu Carré, Aude
Giraudel and Olivier Galibert, « The ETAPE corpus for the evaluation of
speech-based TV content processing in the French language », Conference
on Language Resources and Evaluation, Istanboul, Mai 2012

Olivier Galibert, Sophie Rosset, Cyril Grouin, Pierre Zweigenbaum and
Ludovic Quintard, « Extended Named Entities Annotation on OCRized
Documents: From Corpus Constitution to Evaluation Campaign », Conference
on Language Resources and Evaluation, Istanboul, Mai 2012


-------------------------------------------------------------------------
Message diffuse par la liste Langage Naturel <LN at cines.fr>
Informations, abonnement : http://www.atala.org/article.php3?id_article=48
English version       : 
Archives                 : http://listserv.linguistlist.org/archives/ln.html
                                http://liste.cines.fr/info/ln

La liste LN est parrainee par l'ATALA (Association pour le Traitement
Automatique des Langues)
Information et adhesion  : http://www.atala.org/
-------------------------------------------------------------------------