Approche bimodale du traitement automatique de la parole : application à la reconnaissance du message et du locuteur / par Pierre Jourlin ; sous la direction de Marc El-Bèze

Bibliogr. p. 97-104

Thèse de doctorat informatique 1998 Avignon

Ces travaux constituent une étude sur la possibilité d'intégrer les informations visuelles constituées par le mouvement et la forme des lèvres dans les systèmes de traitement automatique de la parole. Les différentes approches et méthodes relatives à cette problématique sont abordées d'une façon théorique et expérimentale. Une description technique des phénomènes d'asynchronie (ou d'indépendance temporelle) présents dans cette source d'information bimodale est tout d'abord établie. Différentes manières de gérer ces phénomènes dans les systèmes de reconnaissance de la parole sont étudiées et comparées. Nous définissons alors une nouvelle approche fondée sur un produit d'automates à transitions valuées. En outre, la combinaison de deux modalités, qui peuvent avoir des niveaux de fiabilité totalement différents, pose un certain nombre de problèmes relatifs à la pondération. Nous étudions donc les divers critères et méthodes permettant de trouver une pondération optimale. Il est également fait état de différentes expérimentations effectuées dans le domaine du traitement de la parole acoustico-labiale. Nos propres expérimentations dans le domaine de la reconnaissance de la parole bimodale et dans le projet AMIBE (financé par le CNRS) sont décrites. Les résultats des nouvelles méthodes développées dans ces travaux sont également présentés. Enfin, nous abordons également le domaine de la vérification d'identité acoustico-labiale. Nous présentons les résultats obtenus par le système que avons réalisé en collaboration avec l'IDIAP dans le cadre du projet européen M2VTS (programme ACTS). Ces expérimentations furent parmi les toutes premières réalisées dans le domaine de la reconnaissance et vérification acoustico-labiale du locuteur