Journée R&T Cognition 28 janvier 2025
Événement organisé par l’Institut Carnot Cognition
Journée R&T Cognition
Le 28 janvier 2025 s’est tenu la 3ème édition de la Journée R&T Cognition, salon dédié aux technologies cognitives pour les entreprises, au Newcap Event Center à Paris 15e.
Tous les deux ans, l’Institut Carnot Cognition organise la journée R&T Cognition, événement destiné aux entreprises et industriels et où les chercheurs et les laboratoires exposent leurs recherches et dernières innovations.
Elle constitue, ainsi, un carrefour unique de rencontres entre les acteurs du monde socio-économique et la recherche en sciences et technologies cognitives
Cette édition a rassemblé plus de 30 stands de démonstration de technologies cognitives répartis en 3 espaces : « Langage et Cognition », « Technologies d’Augmentation Cognitives », « Évaluations comportementales cognitives & IA » et un espace « Start-up et Partenaires ».
Cette journée a une nouvelle fois été une démonstration de force unique d’un salon R&T consacré à la cognition, sans équivalent à l’échelle mondiale.
Les conférences de l'édition 2025
Session 1 – Transition écologique
Annamaria Lammel, Laboratoire Paragraphe : Perception du changement climatique, processus décisionnels et stratégies d’adaptation : perspectives issues des derniers rapports du GIEC.
- Lucia Bosone, LaPEA : Changement comportemental en faveur de la soutenabilité environnementale : entre risque perçu, croyances d’efficacité et visions de la société future.
- Oscar Navarro, Laboratoire CHROME : Le rôle de la connexion à la Nature dans la transition écologique.
- Table ronde avec Annamaria Lammel, Lucia Bosone, Oscar Navarro et Mohamed Senhadji (Engie)
Session 2 – Interface Humain-Machine et Technologie Numérique
- Mike Salomone, LPNC : Caractérisation des états cognitifs dans les interactions avec un système automatisé : intérêts pour le monitoring et la conception des systèmes.
- Céline Jost, CHArt : La multisensorialité dans des outils de rééducation.
- François Garnier, EnsadLab et Nicolas Garcelon, Institut Imagine : Dr Cloud, un outil de réalité virtuelle pour stimuler la recherche d’hypothèse en maladie génétique.
- Table ronde avec Mike Salomone, Céline Jost, François Garnier, Nicolas Garcelon et Marc Yvon (IBM)
Forum du partenariat
- Table ronde avec Fabrice Ruiz (ClinSearch), Stéphane Buffat (Lab GIE Stellantis-Renault), Christophe Stern (Stern Tech) et Jean-Denis Muller (Le réseau des Carnot)
Session 3 – Langage et robotique sociale et d’assistance
- Didier Schwab, LIB : Grands modèles de langue multimodaux (texte, oral, pictographiques) en français pour la Communication Alternative et Augmentée.
- Nathan Rocher, IRIT : DroneBuddy : Drone Compagnon pour personnes avec déficience visuelle.
- Ouriel Grynszpan, LISN : Les technologies numériques pour l’autisme : potentiel et besoin de preuves.
- Table ronde avec Didier Schwab, Nathan Rocher, Ouriel Grynszpan et Franck Tarpin-Bernard (Humans Matter)
Les vidéos des conférences seront bientôt disponibles sur notre chaine Youtube.
LODYSEI - Localisation Dynamique, Sémantique et Intelligente
Mémoire
Perception
Handicap
Santé et e-santé
Interface Humain-Machine
Mathématique et modélisation
La localisation des objets connectés « indoor » doit répondre à des besoins importants pour une large gamme d’utilisateurs et dans le cadre de nombreux contextes d’usage : les personnes âgées et/ou en situation de handicap pour le maintien de leur autonomie, dans les espaces de travail, dans l’industrie, le commerce, etc. Dans tous ces domaines, aider à retrouver un objet dans l’environnement de manière intuitive/intelligible/mémorisable, devrait permettre d’augmenter la productivité, la sécurité, l’autonomie et le confort des utilisateurs. Elle devrait également permettre de faire émerger de nouveaux usages.
Les démonstrations de l'édition 2025
Mémoire Perception Handicap Santé et e-santé Interface Humain-Machine Mathématique et modélisation
La localisation des objets connectés « indoor » doit répondre à des besoins importants pour une large gamme d’utilisateurs et dans le cadre de nombreux contextes d’usage : les personnes âgées et/ou en situation de handicap pour le maintien de leur autonomie, dans les espaces de travail, dans l’industrie, le commerce, etc. Dans tous ces domaines, aider à retrouver un objet dans l’environnement de manière intuitive/intelligible/mémorisable, devrait permettre d’augmenter la productivité, la sécurité, l’autonomie et le confort des utilisateurs. Elle devrait également permettre de faire émerger de nouveaux usages.
Antonio Serpa
Perception Handicap Santé et e-santé Évaluation comportementale
Il est bien connu qu’une exposition à des sons forts (>80 dB) pendant une durée suffisamment longue (surexposition sonore) peut impacter le système auditif, et notamment provoquer des lésions cochléaires. La perte auditive peut également être à l’origine de troubles très invalidants de la perception auditive tels que l’acouphène (perception auditive non liée à une stimulation acoustique) ou l’hyperacousie (les sons sont perçus comme plus forts voire douloureux).
Il est difficile d’éviter de se surexposer au son car les sons sont généralement « indolores ». C’est même parfois le contraire, les sons forts sont recherchés car ils « coupent » du monde (écoute au casque ou oreillettes) et/ou produisent du plaisir (concert). Par ailleurs, les symptômes qui sont aggravés par la surexposition sonore le sont parfois quelques heures après la surexposition, ce qui rend la corrélation entre la surexposition et l’aggravation des symptômes difficiles à établir et donc plus difficile à anticiper. On peut faire une analogie ici entre les sons et la radioactivité : cette dernière n’est pas ressentie mais elle peut avoir des effets à long-terme très dangereux.
En résumé, le système auditif n’a pas de mécanisme permettant de mesurer la dose accumulée de son, d’alerter le sujet d’un trouble auditif à venir et donc de protéger le système auditif des surexpositions sonores, pour in fine conserver le capital auditif. En mesurant la dose accumulée de son à laquelle le sujet est exposé, la solution permet d’informer le sujet sur les risques encourus dans un environnement sonore donné. De plus, l’application établit une corrélation entre l’exposition sonore et l’aggravation des symptômes du sujet, lesquels lui sont propre. En étant informé de leurs limites personnelles vis-à-vis de leur tolérance au bruit, cela permet au sujet d’avoir une certaine marge de manœuvre sur leur manière de vivre relativement à l’environnement sonore.
Arnaud Norena
L’alternance fréquente de la position assis-debout pour optimiser santé, performance et productivité
Motricité Santé et e-santé Mathématique et modélisation
La station assise prolongée (> 50% du temps assis dans la journée) est une maladie sociétale du 21e siècle. Elle touche plus de la moitié de la population mondiale, surtout les pays à hauts revenus comme la France, et elle cause des maladies graves (diabète, cancer, maladie cardio-vasculaire, mort prématurée…). Plusieurs pays (USA, Canada, Danemark…) achètent extensivement des bureaux assis/debout pour permettre plus de station debout en bureaux. La France est en retard car elle ne s’équipe pas encore. Pire encore, la France délivre une connotation négative à l’utilisation de ces bureaux assis/debout car seules les personnes avec handicaps peuvent en bénéficier facilement (pas les autres). La France doit s’équiper extensivement surtout car les articles publiés et nos projets de recherche dans l’Université de Lille montrent tous que l’utilisation des bureaux assis-debout est bénéfique i) pour la santé (physiologique, psychologique, cognitive) et ii) pour la performance et la productivité au travail.
Avoir un bureau assis/debout n’est ensuite pas suffisant, seulement faut-il savoir l’utiliser de façon judicieuse. Notre équipe de recherche et d’autres collègues montrent qu’il faut utiliser ces bureaux en alternant fréquemment les positions du corps assis et debout toutes les 15 à 45 min. Nous avons construit une application logicielle pour aider les utilisateurs à une utilisation assis/debout optimale en incitant justement cette alternance fréquente de position du corps. Nous discuterons du potentiel de cette application pour les utilisateurs, pour la société et pour la recherche.
Cedrick Bonnet
Solutions industrielles
Intelligence Artificielle
Mathématique et modélisation
Avec l’adoption des matériels d’acquisition de nos environnements sous forme de nuages de points 3D (lidar, photogrammétrie) par de nombreux secteurs industriels, le besoin en solutions de traitement automatisées s’est considérablement accru et diversifié. Aujourd’hui, la complexité et la taille de ses données acquises sont telles que la majorité des solutions se basent sur l’utilisation manuelle de logiciels d’édition experts, ce qui est laborieux, chronophage et très coûteux (les entreprises délocalisent bien souvent ces traitements pour diminuer leurs coûts).
Notre démonstrateur se base sur des travaux de recherche récents qui montrent l’utilisation de réseaux de neurones pouvant être entraînés et évalués interactivement sur des nuages de points 3D.
Nous présentons un système de qualité professionnelle permettant à un utilisateur expert métier d’entraîner interactivement ces réseaux sur ses propres données pour démontrer ses possibilités de traitement automatique spécifique à ses propres besoins.
Nicolas Mellado et Loic Barthe
Cognition sociale Émotion Technologie de l’information et de la communication Interface Humain-Machine
Les interactions en ligne manquent souvent de la présence tangible indispensable aux échanges émotionnels. La présence de l’autre ne se réduit pas à une simple transmission de sons et d’images, mais repose sur des interactions physiques porteuses d’empathie et de soutien. En effet, la rencontre des corps permet à nos gestes de se guider, se soutenir ou se bloquer mutuellement, des dynamiques difficilement reproduites dans les environnements numériques. L’absence de cette dimension tactile en ligne renforce la déconnexion émotionnelle et rend les interactions plus impersonnelles. Notre recherche s’attache à définir les conditions minimales nécessaires pour recréer une présence tangible à distance par la médiation tactile. En intégrant des technologies de feedback sensoriel, nous visons à rétablir un sentiment de proximité et de partage émotionnel, afin de pallier les lacunes actuelles de la communication numérique.
Charles Lenay, Florent Levillain et Vincenzo Raimondi
Émotion Motricité Education et formation Santé et e-santé Exercices
En combinant des exercices de cohérence cardiaque (c’est-à-dire des exercices de respiration) et du biofeedback (la visualisation en direct de l’évolution de son bien-être), FOCUS est un dispositif basé sur des principes simples, naturels et efficaces. Portable et simple d’utilisation, FOCUS améliore la gestion du stress et favorise le bien-être émotionnel dans divers contextes. En milieu professionnel, il aide à améliorer la concentration et à prévenir le burn-out. En milieu médical, il accompagne les patients souffrant d’anxiété, de troubles du comportement alimentaire (TCA) ou d’apnée du sommeil. À domicile, il favorise la relaxation, notamment avant le coucher, et peut être intégré dans des programmes d’éducation pour développer des compétences en autorégulation émotionnelle.
Sandrine Mejias
Cognition sociale Santé et e-santé Technologie de l’information et de la communication Ergonomie Réalité virtuelle
Le projet Dr Cloud, cherche a reconstruire une relation subjective et sensible entre chercheurs et cliniciens de l’équipe Imagine-Necker et leurs données cliniques et génétiques. Cette approche heuristique du Big Data propose une alternative à la recherche sur écran par mot-clé, en associant les qualités perceptives de l’immersion VR (embodiment, présence, flow) aux capacités analytiques de l’intelligence artificielle (indexation, image recognition, clusterisation).
Ce dispositif de réalité virtuelle immerge les chercheurs dans des corpus de cas cliniques, structurés spatialement selon des critères proximité ou de pertinence pour stimuler des actes de recherches intuitives et la production d’hypothèses de recherches.
Le projet Dr Cloud, est porté par l’Institut Imagine, l’EnsadLab, et l’ENS-DEC dans le cadre de la Chaire Vulnérabilités et Capabilités, et est soutenu par PSL Valorisation et l’Institut Carnot Cognition.
François Garnier
Cognition sociale Langage Technologie de l’information et de la communication Médias
L’outil présenté est un système de traduction permettant, à partir de l’oral, de proposer une séquence de pictogrammes correspondants. L’objectif est double : améliorer l’accès à la communication pour les personnes allophones dans un contexte d’urgence médicale, et pour les personnes avec des difficultés avec la parole. En effet, l’outil permettra aux personnes des services hospitaliers, et aux familles de véhiculer un message en pictogrammes facilement compréhensible auprès de personnes ne pouvant communiquer via les canaux traditionnels de
communication (parole, gestes, langue des signes).
Ce projet a été développé dans le cadre de PROPICTO (PRojection du langage Oral vers des unités PICTOgraphiques), projet bilatéral franco-suisse financé par l’Agence Nationale de Recherche (ANR) et le Fonds National Suisse (FNS). Cette collaboration est portée par le Laboratoire Informatique de Grenoble (LIG), Université Grenoble Alpes côté français, et le département de Traitement Informatique Multilingue (TIM), Université de Genève côté suisse.
Didier Schwab
Motricité Santé et e-santé Évaluation comportementale Interface Humain-Machine
Ce démonstrateur présente quelques activités réalisées par une personne alors qu’elle porte un dispositif numérique ayant comme fonction de récupérer les informations sur ses mouvements. Grâce à ce système, les mouvements effectués permettent de réaliser des actions dans des petits jeux. L’objectif générale est de rendre les séances de rééducation plus ludique et de donner envie à la personne de suivre son programme de rééducation sans abandonner. Le projet vient de passer la première étape, à savoir valider l’acceptabilité de ce genre de système par le grand public et les professionnels de santé et de vérifier sa faisabilité.
Constance Bault (LAMIH) et Céline Jost
Langage Handicap Santé et e-santé Évaluation comportementale Remédiation
Le biofeedback est une approche efficace pour guider dans la réalisation d’un geste et renforcer sa bonne réalisation.
Cette approche est particulièrement pertinente pour la prise en soin orthophonique des troubles de la déglutition, car le geste lingual n’est pas visible puisque réalisé dans la cavité buccale (bouche fermée). Le dispositif développé appelé RTS (Rising Tongue System) utilise des capteurs de force de contact qui permettent de mesurer les forces d’appui de la langue sur le palais en différents points. Les forces d’appui sont mesurées en continu lors des différents exercices de rééducation. Ces enregistrements appelés « palatogrammes » permettent un suivi longitudinal de la rééducation proposée par l’orthophoniste.
Le recours à l’historique de ces enregistrements permet de valider ou bien de modifier les exercices proposés au patient en cours de sa rééducation au cabinet et à domicile.
Thierry Legou, Lise Charrier
Langage Sciences Santé et e-santé Intelligence Artificielle
Nos présentons le cœur d’un système de résumé spécialisé de documents scientifiques et médicaux. Le système SUMMSci possède des algorithmes de résumé très rapides, permet d’analyser correctement un grand nombre d’articles en format PDF et utilise des ressources ouvertes pour désambigüiser et enrichir le contexte des résumés obtenus, tout en évitant des biais dans leur production.
Juan-Manuel Torres-Moreno
Langage Cognition sociale Intelligence Artificielle
La bibliothèque libre « pyannote » se concentre sur la segmentation et le suivi de locuteurs dans des conversations spontanées entre plusieurs personnes. Elle est aujourd’hui utilisée par plus de 50 000 utilisateurs à travers le monde et les modèles pré-entrainés partagés sur la plateforme Hugginface sont téléchargés plus de 30 millions de fois chaque mois.
Hervé Bredin
Langage Cognition sociale Mathématique et modélisation
SAMI est une application mobile dont le traitement embarqué permet de mesurer l’intelligibilité de votre voix lors de la lecture d’un texte.
Jérôme Farinas, Julien Pinquier
Langage Médias Intelligence Artificielle
Cette plateforme offre aux traducteurs des explications significatives, précises et limitées par la connaissance des concernant les systèmes de traitement automatique du langage. Grâce à cet outil, les traducteurs peuvent traduire, post-éditer et évaluer les textes tout en analysant et en expliquant simultanément les résultats issus des modèles. Ainsi, elle permet d’aller au-delà des algorithmes complexes de l’intelligence artificielle et de favoriser une meilleure compréhension humaine de la traduction.
Gabriela Gonzalez-Saez
Langage Apprentissage et développement Technologie de l’information et de la communication Intelligence Artificielle Réalité virtuelle
Notre dispositif vise à soutenir la formation des interprètes de conférence au travers d’un environnement augmenté mêlant réalité virtuelle, reconnaissance vocale, traduction automatique et gestion terminologique. Cette approche novatrice permet aux interprètes en formation de se plonger dans des situations réalistes, enrichies d’outils numériques, pour affiner leurs compétences en temps réel.
Grâce à des environnements photoréalistes, les apprenants peuvent interagir dans des contextes variés et dynamiques. L’outil d’assistance par ordinateur intégré offre des suggestions intelligentes et des ressources contextuelles, optimisant ainsi leur performance et les préparant aux exigences des événements de grande envergure.
Geoffrey Tissier, Leïla Cherrouk
Cognition sociale Santé et e-santé Intelligence Artificielle Robotique
L’association entre l’intelligence artificielle et la psychologie du développement a facilité les études sur l’interaction entre les enfants et les robots sociaux, un domaine de recherche qui suscite un intérêt croissant dans le paysage scientifique actuel. En effet, l’intégration de la robotique sociale dans le domaine de la santé continue de croître et il est de plus en plus important de comprendre l’impact que ces technologies ont sur les êtres humains, dès la petite enfance.
Ce projet de recherche est mené en collaboration avec des psychiatres, des psychologues cliniciens et des ingénieurs en informatique. Celui-ci a pour but d’utiliser le soutien de la robotique sociale afin d’étendre l’intervention clinique hospitalière, en transférant les recommandations de soins à la vie quotidienne au domicile, dans un mouvement d’aller-retour entre l’hôpital et la maison.
L’utilisation de la robotique sociale dans le soin psychique ne peut se substituer à l’intervention humaine, mais elle doit en être le complément et elle doit y être stratégiquement asservie. Et elle offre une versatilité permettant d’adapter les outils technologiques aux difficultés spécifiques des différents troubles du neurodéveloppement à traiter.
Maria Valentina Cavarretta
Cognition sociale / Santé et e-santé / Loisirs et sports / Réalité virtuelle
Le marché du développement personnel représente environ 11 milliards de $ par an en moyenne et augmente tous les ans. Des outils très nombreux de mesure, des cadres théoriques, des intervenants plus ou moins formés se juxtaposent dans ce domaine disparate où l’on peut parler de psychologique, de psychiatrie, de développement personnel, de préparation mentale, de préparation cognitive. Tout ceci est appliqué dans le cadre privé, scolaire ou professionnel. Une stratégie nationale de développement des compétences psychosociales est actée en 2022 par l’état pour les jeunes et les futurs adultes. Cette stratégie prend position dans une démarche internationale (OCDE, UNESCO) que l’on retrouve depuis les années 1990 tout au moins (Luna Scott, 2005). La stratégie française fait face à une prise de conscience des risques psychosociaux identifiés notamment par l’enquête de la DARES de 2021. Cette dernière met en avant que 57% des salariés sont exposés à 3 facteurs de risques psychosociaux. Une étude réalisée par Opinion Way en 2022 souligne que la détresse psychologique des collaborateurs « reste à un niveau élevé et inquiétant ». Selon ces chiffres, elle toucherait 41 % des salariés, dont 14 % à un taux élevé.
En outre, 34 % des salariés français seraient en burn-out, et parmi eux 13 % en burn-out qualifié de « sévère » (soit plus de 2,5 millions de personnes). Les constats dans le monde du sport (Blain et al., 2019) sont les mêmes. La fatigue qui résulte d’un surentraînement sportif ressemblerait à celle engendrée par un effort intellectuel. Elle serait associée aux mêmes mécanismes cérébraux. Pessiglione (2019) a récemment montré que la fatigue intellectuelle affecte le contrôle cognitif. Il peut donner lieu à des prises de décision impulsives. Le monde du sport à l’image du monde professionnel classique est lui aussi touché par la question des risques psychosociaux dans le cadre du surentraînement. La recherche de performance demande donc de comprendre et d’identifier les facteurs psychosociaux comme indicateur et facteur de performance durable. Des études massives portées par le programme prioritaire de recherche français « Sport de très haute performance » s’engagent dans cette voie de l’optimisation de la performance par le suivi des données vidéos (PerfAnalytics 2021), des données physiques ou sociales (D-Day, Team-Sports) pour les sports olympiques.
Notre projet se positionne dans cette voie en désirant lier la question de la mesure des ressources psychosociales individuelles, collectives et de la performance en contexte réel pour mieux en suivre les interactions. La difficulté de la mesure de ces ressources et de la performance de façon synchronique et diachronique est posée. Pour ce faire, il existe de nombreux outils de mesure plus ou moins scientifiques usités dans le monde du sport. Ces outils très nombreux doivent être choisis de façon lucide mais aussi mis en œuvre de façon effective. En effet, dans un contexte non expérimental (en dehors d’un laboratoire), le quotidien (notamment des entraîneurs sportifs mais aussi des entreprises) ne permet pas toujours de prélever ces données de façon efficiente. De plus, le prélèvement de ces données n’est pas simple en termes de traitement. Cette problématique pragmatique, scientifique et éthique dans le monde du sport, de l’entreprise ou encore de l’éducation est le cœur de ce projet. Ce projet propose une mise à disposition d’outils de mesure intégrée associée à des mécanismes d’aide à la décision.
Nicolas Epinoux
Cognition sociale / Langage / Santé et e-santé / Solutions industrielles / Intelligence Artificielle
Basés sur une architecture combinant LLM et RAG les chatbots sont construits pour réaliser leur tâche de dialogue tout en exprimant une personnalité spécifique pré-définie. Appuyés sur la puissance générative des LLM nous souhaitons vérifier leur capacité à générer des dialogues naturels et consistants en domaine ouvert ; tout en restant guidés par une personnalité simulée de l’agent conversationnel. Au-delà d’une meilleure compréhension du fonctionnement des LLM, un exemple d’application pratique de tels chatbot serait les coach vocaux (soutien psychologique et médical, entraînement pour téléopérateurs,…).
Fabrice Lefèvre
Motricité / Handicap / Loisirs et sports / Santé et e-santé / Évaluation comportementale
En 2030, une personne sur 6 sera âgé de plus de 60 ans. Les modifications cognitives consécutives du vieillissement normal sont l’un des défis majeurs posés par le vieillissement de la population. Afin de mieux comprendre la nature et les causes de ces changements cognitifs liés à l’âge, l’utilisation de simulateur de vieillissement apparait comme une solution novatrice.
Un simulateur de vieillissement prend la forme d’un dispositif physique dont l’objectif est de reproduire les difficultés sensorielles et motrices rencontrées par les seniors. Des lunettes et des caches oreilles mimant la perte d’acuité visuelle et auditive sont installés. Une combinaison comprenant des entraves articulatoires et des poids visant à mimer la sarcopénie (perte de masse musculaire, augmentation de la masse grasse) sont réparties sur l’ensemble du corps. Lorsqu’il est porté par un adulte jeune, le simulateur de vieillissement permet de reproduire les difficultés sensorimotrices rencontrés par un adulte âgé.
En comparant les comportements et performances d’adultes âgés avec ceux d’adultes jeunes portant le simulateur, il est possible de mieux comprendre si certaines difficultés sont causées par un déclin des capacités cognitives au niveau central, ou si elles résultent davantage de difficultés sensorimotrices au niveau périphérique (e.g., organe sensoriel). Les simulateurs de vieillissement permettent également aux adultes jeunes de mieux comprendre la réalité des difficultés sensorimotrices rencontrées par les adultes âgés, ce qui pourrait favoriser une meilleure compréhension intergénérationnelle.
Jérémy Villatte
Langage / Santé et e-santé / Intelligence Artificielle
Ce projet se concentre sur le développement de nouveaux outils pour identifier des « biomarqueurs » à partir de la voix, en utilisant des techniques avancées d’intelligence artificielle. Un biomarqueur est un indicateur mesurable qui peut fournir des informations sur la santé ou les conditions psychologiques d’une personne. Par exemple, nous avons pu montrer qu’il est possible de détecter la fatigue en analysant les variations subtiles de la voix, ou tenter de suivre l’évolution de troubles de l’attention grâce à des caractéristiques spécifiques du discours. Cependant, l’un des grands défis avec l’intelligence artificielle est que les modèles sont souvent perçus comme des « boîtes noires », difficiles à comprendre pour l’intuition humain.
Pour y remédier, ce projet utilise des méthodes d’explicabilité que nous avons développées et qui expliquent comment et pourquoi l’intelligence artificielle arrive à ses conclusions. En perturbant aléatoirement les données vocales, nous avons identifié les éléments clés qui influencent le diagnostic, rendant les résultats plus transparents et accessibles aux médecins ou aux spécialistes par exemple. Les applications de ce projet sont variées : détecter la fatigue dans la voix, diagnostiquer des troubles de l’attention et évaluer l’efficacité de thérapies pour l’insomnie. En comprenant mieux comment ces modèles fonctionnent, nous pouvons développer des outils fiables, adaptés aux besoins des professionnels de santé, pour une meilleure prise de décision basée sur des données.
Etienne Thoret et Daniel Pressnitzer
Technologie de l’information et de la communication / Mathématique et modélisation
Ce projet se concentre sur le développement de nouveaux outils pour identifier des « biomarqueurs » à partir de la voix, en utilisant des techniques avancées d’intelligence artificielle. Un biomarqueur est un indicateur mesurable qui peut fournir des informations sur la santé ou les conditions psychologiques d’une personne. Par exemple, nous avons pu montrer qu’il est possible de détecter la fatigue en analysant les variations subtiles de la voix, ou tenter de suivre l’évolution de troubles de l’attention grâce à des caractéristiques spécifiques du discours. Cependant, l’un des grands défis avec l’intelligence artificielle est que les modèles sont souvent perçus comme des « boîtes noires », difficiles à comprendre pour l’intuition humain.
Pour y remédier, ce projet utilise des méthodes d’explicabilité que nous avons développées et qui expliquent comment et pourquoi l’intelligence artificielle arrive à ses conclusions. En perturbant aléatoirement les données vocales, nous avons identifié les éléments clés qui influencent le diagnostic, rendant les résultats plus transparents et accessibles aux médecins ou aux spécialistes par exemple. Les applications de ce projet sont variées : détecter la fatigue dans la voix, diagnostiquer des troubles de l’attention et évaluer l’efficacité de thérapies pour l’insomnie. En comprenant mieux comment ces modèles fonctionnent, nous pouvons développer des outils fiables, adaptés aux besoins des professionnels de santé, pour une meilleure prise de décision basée sur des données.
Thibaut Germain, Christophe Labourdette
Apprentissage et développement / Perception / Éducation et formation / Environnement / Réalité virtuelle
La réalité virtuelle immersive permet à des apprenants de vivre des expériences tridimensionnelles uniques, renforçant l’apprentissage. Cependant, son efficacité varie selon plusieurs facteurs, comme le niveau d’immersion et la quantité de stimuli. Cette recherche vise à optimiser l’ergonomie de ces environnements en s’appuyant sur plusieurs décennies de résultats sur l’apprentissage multimédia. Deux applications en réalité virtuelle ont été développées. L’une enseigne la compétition entre des arbres dans une forêt virtuelle en s’appuyant sur un contenu visuel et auditif. L’autre aide les futurs professionnels de la forêt à visualiser l’impact des visiteurs sur l’écosystème pendant une décennie, en guidant leur attention sur les éléments pertinents.
Ces applications montrent l’importance de combiner des éléments auditifs et visuels et de guider l’attention des apprenants. Les principes mis en avant pas ces applications peuvent s’appliquer à d’autres secteurs, tel que l’industrie.
Noé Monsaingeon et Jean-Michel Boucheix
Réalité virtuelle
Le projet VIICAD s’appuie sur le développement d’environnements virtuels interactifs (EVI) utilisant les réalités virtuelles, augmentées et mixtes pour la génération de scénarii d’interactions contextualisés. En associant la flexibilité de l’immersion virtuelle, la simulation d’environnements complexes, et l’analyse de la performance d’interaction sur critères, le projet VIICAD ainsi novateur se met au service des stratégies d’analyse des données multiples et du traitement de l’information et de la prise de décision sous contraintes. Le projet VIICAD s’adresse aux domaines d’application qui utilisent les EVI pour simuler des conditions d’analyse de l’interaction Humain-Environnement contexte-dépendant, telles qu’en ergonomie cognitive, en performance sportive, en immersion thérapeutique, en formation professionnelle et e-learning, et en simulation des risques naturels environnementaux.
Olivier Martin et Pascal Bellemain
Motricité / Loisirs et sports /Santé et e-santé / Mathématique et modélisation
La ventilation est une fonction physiologique simple qui assure l’apport vital en oxygène et l’élimination du CO2. Cette fonction est généralement évaluée à partir de signaux de pléthysmographie. Aujourd’hui, cette analyse s’appuie sur des descripteurs simples du cycle respiratoire (inspiration/expiration) tel que sa durée, et ils sont souvent agrégés au cours du temps. Malheureusement, cette méthodologie ne rend compte que d’une partie de la dynamique des échanges respiratoires.
L’application proposée offre une nouvelle classification des cycles respiratoires qui rend compte de la diversité et la dynamique des échanges respiratoires. Cette application s’appuie sur un algorithme de clustering spécifique aux séries temporelles permettant l’apprentissage des prototypes d’inspirations et d’expirations utilisés pour établir une représentation symbolique des signaux de pléthysmographie. Ainsi, cette méthode facilite aussi la compréhension des signaux enregistrés sur une cohorte grâce à des représentations globales et visuelles.
Thibaut Germain et Christophe Labourdette
Langage / Perception / Handicap / Santé et e-santé /Évaluation comportementale / Mathématique et modélisation
La compréhension de la parole, essentielle pour la communication humaine, repose sur la capacité complexe du cerveau à décoder le son de parole en une série de phonèmes (les « lettres » du langage oral, p.ex. les sons /b/ et /d/). Pour cela, notre système auditif extrait certaines informations très spécifiques présentes dans le son, les indices acoustiques, et les combine pour reconstituer le sens de la phrase entendue. Au contraire, les personnes souffrant de pertes auditives ne sont plus en mesure de percevoir correctement l’intégralité des indices acoustiques disponibles, ce qui compromet leur capacité à communiquer au quotidien.
L’audioprothèse est aujourd’hui la réponse privilégiée à la malentendance. Malheureusement, en pratique, cette approche ne permet en général pas de rétablir une perception auditive entièrement normale : les sons à nouveau audibles demeurent parfois inintelligibles. Le développement de nouveaux systèmes d’aide auditive plus performants, mais également d’outils diagnostics plus fins, passe nécessairement par une étude détaillée des stratégies d’écoute individuelles chez les individus malentendants. Pour cela, l’un des enjeux actuels en audiologie est d’obtenir une mesure objective et individualisée des pertes dites « cachées », afin d’ajuster plus finement la prise en charge en prenant en compte les spécificités de chaque patient.
Récemment, notre équipe a mis au point une méthode, appelée Image de Classification Auditive (ACI), permettant de visualiser directement et de façon très détaillée la stratégie d’écoute d’un participant. Le principe de base de cette approche repose sur l’étude des erreurs de compréhension systématiques commises par le participant. La modélisation statistique de ces confusions permet de tirer des conclusions sur les mécanismes cognitifs sous-jacents.
L’ACI est donc une nouvelle technique d’imagerie de la perception auditive purement comportementale – c’est-à-dire sans aucune mesure de neuro-imagerie, un casque audio et un ordinateur suffisent. Permettant de visualiser les informations sonores sur lesquelles le participant porte son attention, la méthode offre une forme d’ « ear-tracking » d’une précision jusque ici inégalée, ouvrant de nouvelles perspectives pour la compréhension des pertes auditives cachées et l’amélioration des aides auditives.
La méthode des Images de Classification Auditives offre une précision incommensurable par rapport aux précédentes approches psycholinguistiques pour explorer les stratégies d’écoute des personnes malentendantes appareillées. Ainsi, dans une étude récente, nous avons démontré, au moyen d’une méthodologie proche de l’ACI, que les auditeurs malentendants, même une fois appareillés, ne combinaient pas les indices acoustiques haute fréquence et basse fréquence de la même façon que les auditeurs normoentendants. Les résultats pilotes obtenus soulignent la nécessité de développer des approches personnalisées pour améliorer l’efficacité des aides auditives, en prenant en compte les spécificités cognitives et auditives de chaque utilisateur.
Léo Varnet
Langage / Handicap / Mathématique et modélisation / Simulation
Nous présentons un prototype d’éditeur pour une représentation graphique (AZVD) d’énoncés en langue des signes, capable d’en créer un rendu sous la forme d’une animation en 3D synthétisée par un avatar reproduisant les formes (gestuelles) à articuler. Le système graphique est construit sur deux bases complémentaires. La première, le modèle AZee, est développée au laboratoire et permet de représenter formellement les énoncés signés, dont les structures iconiques géométriques si particulières aux langues des signes. La deuxième est l’étude de représentations graphiques spontanées que les natifs et professionnels de la langue (p. ex. traducteurs) produisent pour mettre leur langue sur papier, dont AZVD s’est inspiré.
Avec le démonstrateur, on manipule un diagramme grâce à des icônes et dispositions graphiques que l’on dépose et déplace sur une zone graphique. Chaque modification sur le canvas est reflétée automatiquement par une mise à jour de l’expression AZee utilisable pour animer un avatar. Seul un petit sous-ensemble est aujourd’hui disponible, mais l’expérience démontre qu’il est possible, sans connaître de code ou langage de programmation, de contrôler la synthèse de langue des signes avec un système graphique lisible et interprétable sémantiquement.
Pour peu que le public signant se l’approprie, par exemple comme proxy d’écriture, AZVD rendrait possible de publier du contenu, commenter des vidéos, échanger à la manière d’emails sous une forme économique, anonyme et indexable, contrairement à ce que permet la vidéo aujourd’hui.
Michael Filhol
Apprentissage et développement / Langage / Éducation et formation
Il existe peu de corpus permettant de développer et de tester un assistant virtuel pour le domaine éducatif, en français. Afin d’être utile autant aux enseignants (c’est très long de constituer des QCM intelligents pour un enseignant) qu’aux étudiants (pour avoir un outil leur permettant de vérifier leur apprentissage), il est important de considérer des questions complexes ainsi que d’être capable de justifier les réponses sur du matériel validé. C’est la raison pour laquelle nous avons entrepris de créer un premier corpus consacré principalement à des questions d’histoire. Nous avons effectué des expériences pour tester différents systèmes existants sur ce corpus. Nous avons également constaté qu’il faudrait élargir les données traitées pour tenir compte des images qui sont très souvent porteuses d’informations dans les livres de cours.
Anne Vilnat
Apprentissage et développement / Loisirs et sports / Jeux
Il s’agit d’étudier l’impact des jeux de société sur la créativité. Grâce au soutien de l’Asmodée, dans le cadre de la chaire Homo Creativus, Fondation Université Paris Cité, nous avons mené des recherches pendant trois ans sur ce thème. On observe que les jeux impliquant une recherche d’idées originales permettent de faciliter le développement de la créativité chez les jeunes adultes. Venez découvrir ces jeux.
Todd Lubart
Apprentissage et développement / Réalité virtuelle
En s’appuyant sur une plateforme de réalité virtuelle, nous mettons les participants dans un environnement virtuel configuré comme propice à la créativité. Les avatars sont également configurés afin de refléter le soi créatif des participants. Nous avons mis au point des techniques de recherche d’idées qui sont adaptées à cet environnement.
L’environnement virtuel peut soutenir la créativité grâce à sa nature imaginaire, en dehors du monde réel et la nature transformée et relativement anonyme des avatars qui représentent des participants. Il est possible de mener des réunions de recherches d’idées en salle virtuelle. Ces réunions créatives peuvent être organisées en entreprise ou en milieu scolaire.
Todd Lubart et Jiayin Liu
Apprentissage et développement / Langage / Mémoire / Éducation et formation / Jeux
Quatre applications numériques evidence-based, nommées « le bouquet Fluence », ont été développées et scientifiquement validées pour faciliter l’apprentissage des fondamentaux. Elles sont issues de la recherche et d’un partenariat avec deux entreprises (les Editions Hatier et HumansMatter). Leur développement a été co-financées par les programmes e-FRAN (projet Fluence) et e-FRAN-vague3 (projet Trans3). Ces applications visent l’amélioration des performances en lecture (EVASION, ECRIMO et FLUIDILI) et en compréhension orale de l’anglais (FIREFLY).
Des expérimentations en situation réelle de classe et à grande échelle, ont été menées pour mesurer objectivement l’efficacité des 4 applis. Les résultats des dernières expérimentations montrent que s’entrainer avec EVASION en CP améliore les capacités d’attention visuelle impliquées en lecture. ECRIMO permet aux élèves en début d’apprentissage de la lecture, d’améliorer leur capacité d’encodage. Enfin, les élèves de CE1 entrainés avec FLUIDILI améliorent leur compétence en lecture expressive. Quant à FIREFLY, les élèves qui l’ont utilisée ont de meilleures performances en compréhension de l’anglais oral.
Cynthia Boggio
Apprentissage et développement / Langage / Éducation et formation / Jeux
Une galaxie de textes à lire en karaoké et en synchronie avec un lecteur expert pour entrainer la vitesse de lecture ET la prosodie : expressivité et phrasé. Il ne s’agit pas de lire le plus vite possible mais avec du rythme et de l’expressivité !
L’efficacité de FLUIDILI, application éducative d’entrainement à la fluence en lecture de textes, a été démontrée. Un entrainement intensif de 4 semaines en classe de CE2/CM1 permet aux élèves de progresser en expressivité sur les textes entrainés et sur un texte non entrainé. Les élèves ayant bénéficié d’un surlignage groupe de souffle, marquant les frontières syntaxiques, font également des progrès en phrasé dans les textes complexes et ont une meilleur conscience syntaxique à l’issue des 4 semaines d’entrainement.
Erika Godde
Cognition sociale / Émotion / Langage / Motricité / Transverse /Évaluation comportementale
La mesure de la respiration permet de mesurer l’instant où le locuteur inspire pour préparer sa prise de parole. La respiration précédent la prise de parole est parfois elle-même précédée d’un regard ou d’un geste pour signaler son intention de prendre la parole. Les systèmes de mesure de la gestualité ou de l’expression faciale, complètent ces informations recueillies pour l’étude de la communication verbale. La mesure de la réponse électrodermale de chaque interlocuteur peut aussi renseigner sur les émotions ressenties lors de cette échange. En effet la réponse électrodermale est modulée par le système nerveux autonome (SNA) impliqué dans la « gestion » des émotions. La mesure de l’activité cérébrale (EEG), permet quand a elle en mesurant sa composition fréquentielle de notamment comprendre le niveau d’information traitée (lexicale ou sous lexicale) ou encore d’évaluer l’alignement temporel et l’éventuelle convergence entre les interlocuteurs.
Deirdre Bolger et Thierry Legou
