Descriptif

Responsable: Jérôme Sackur
E-mail : jerome.sackur@gmail.com

COGNITION ET NEUROSCIENCE

Perception visuelle anorthoscopique d’objets

Lorsqu’un objet (ou une scène visuelle) est vu au travers d’une fente (« slit viewing »), comme cela peut être le cas dans la vie réelle lorsque l’on perçoit une scène au travers d’un store ou d’une barrière par exemple , le système visuel est capable d’identifier et reconnaitre cet objet, bien que la même région de la rétine soit stimulée d’instant en instant. Quels sont les mécanismes qui permettent la reconstruction de cet objet et de le reconnaitre ? Quelle est la part de la dynamique du mouvement et des informations de formes dans ce processus ?

• Transfert inter hémisphérique de traitements visuels

La perception du champ visuel droit et gauche est assurée par les hémisphères gauche et droit, respectivement. Lorsqu’une stimulation visuelle franchit le méridien vertical, quelles sont informations, prédictions et traitements transférés d’un hémisphère à l’autre (vraisemblablement par l’intermédiaire du corps calleux qui réunit les deux hémisphères) ?  Des observations informelles suggèrent que les traitements corticaux réalisés dans un hémisphère ne sont pas transférés à l’autre, et que les traitements visuels –en particulier ceux nécessaire à la perception du mouvement- doivent être recalculés. Le projet vise à quantifier cette observation et à identifier les constantes de temps mise en jeux.

• Oculomotricité et « Eye-Gaming »

l’étude de l’oculomotricité et de son répertoire (fixation, saccade, poursuite, vergence, activité pupillaire) est généralement réalisée en laboratoire avec des paradigmes stricts, mais peu attirants (faire 100 saccade vers une cible, par exemple). Le projet vise à collecter des données oculomotrices dans le cadre de « jeux sérieux » impliquant les mouvements oculaires (« Eye-Gaming ») et de déterminer si les mouvements oculaires mis en œuvre  dans ces situations sont susceptibles d’apporter des informations pertinentes pour l’étude du système oculomoteur (et de « remplacer » ou compléter les paradigmes expérimentaux de laboratoire). A plus long terme, le projet vise à développer des bornes interactives utilisant les mouvements oculaires pour le pilotage d’interfaces, de collecter etd’ étudier ces mouvements oculaires sur une grande population (Cohorte).

• Sonification des mouvements oculaires

Bien que les yeux bougent sans arrêt (3 saccades par seconde), ces mouvements sont largement non-conscient, et souvent perturbés dans nombres de pathologies. Le projet vise à déterminer dans quelle mesure la sonification des mouvements oculaires (couplages mouvement oculaires/sons) est utile pour faciliter et améliorer le contrôle oculomoteur. A long terme ce projet vise à développer des applications cliniques pour le diagnostic et la remédiation de troubles oculomoteurs.

• La réponse pupillaire comme mesure de l'attention visuelle

La taille de la pupille varie en fonction de l'illumination de la scène, mais reflète aussi des fonctions cognitives telles que l'orientation de l'attention. En effet, lorsqu'on prête attention à un objet lumineux placé en périphérie, la pupille se rétracte par rapport à la situation où l'objet auquel on prête attention est sombre. L'oscillation de la luminance (sombre-clair) à une certaine fréquence induit des oscillations de la pupille (jusqu'à 3Hz environ). Il est possible de présenter différents objets dont la luminance oscille à différentes fréquences, et de déterminer celui auquel le sujet prête attention et regardant l'amplitude des fréquences dans une décomposition de Fourier du signal pupillaire - une technique appelée "frequency tagging". L'objectif de ce stage est de déterminer les contraintes spatiales de ce frequency tagging de manière à exploiter la réponse pupillaire comme mesure attentionnelle.

Ce stage comprend toutes ou une partie des étapes suivantes: la mise en place du protocole expérimental, programmation de l'expérience (matlab), formation à l'utilisation d'un oculomètre et aux méthodes psychophysiques pertinentes pour récolter les données, analyse des données.

• Développement d'un jeu pour évaluer les rythmes attentionnels des enfants

La capacité à rester concentré sur une même tâche varie considérablement dans la population générale, sans parler des pathologies de l'attention comme le Trouble Déficit de l'Attention / Hyperactivité (TDAH).  Une manière traditionnelle d'étudier cela en sciences cognitives consiste à questionner à intervalles irréguliers des participants pendant qu'ils et elles effectuent une tâche (la lecture d'un texte rébarbatif par exemple) afin de déterminer si et quand leur pensée vagabonde. Le projet serait la première étape d'un autre approche, consistant à déterminer pour chaque sujet un "biais d'alternance" entre deux tâches. Pour ce faire, il faudrait concevoir une tâche bi-partite qui pourrait prendre ensuite la forme d'un jeu vidéo, dans laquelle les participants devraient répartir leur attention sur deux sous-tâches (deux parties de l'écran). Il faudrait concevoir une contrainte telle que, en fonction des performances de chacun-e, nous puissions déterminer le taux d'alternance optimal, qui ne serait pas accessible au sujet. Nous pourrons alors mesurer le biais de chaque sujet par rapport à ce taux optimal.

Les étapes du stage sont : 1/ définir les contraintes du jeu ; 2/ effectuer des simulations pour tester leur robustesse ; 3/ concevoir et analyser une expérience de laboratoire pour valider la mesure du biais ; 4/ réaliser la version « jeu vidéo ».

Pré-requis: programmation.

Les projets suivants sont en lien avec l'équipe d'Emmanuel Dupoux « The Synthetic Language Learner ». Ils demandent de bonnes connaissances en algèbre linéaire ou statistique ainsi qu'en programmation.

• Deep language learning from scratch

Deep Neural Networks (DNNs) have recently broken ground on state-of-the-art in several areas (image recognition, speech recognition, etc.) . However, these algorithms depend on large human annotated datasets. Yet, infants spontaneously achieve similar performance without direct supervision; the internship explores various ideas to 'de-supervise' deep learning using side information, loss functions or architectures inspired by research in human infants .

• Learning the laws of physics with a deep recurrent network

Recurrent networks can be used to learn regularities in video or audio sequences . This internship will use a game engine to learn the underlying physical regularities of interactions between macroscopic objects and compare it to results of infant's perception of possible versus impossible events . It will be conducted in collaboration with Facebook AI Research.

• Time invariance in speech perception.

Speech perception is invariant with respect to large variations in speech rate . How is this achieved ? The internship will explore time normalization using various computational architectures for speech recognition (convolutional coding, networks of oscillators, etc.) and compare the results to human data .

• The role of prosody in language bootstrapping.

Speech prosody is the 'melody' and 'rhythm' of language, and infants are very sensitive to it. We think that it provides bootstrapping into linguistic structures at many levels (lexical, grammatical). The internship will explore this using a variety of speech technology techniques  (signal processing, spoken term discovery, word segmentation, etc.) .

• Rules and meaning

The human language faculty is unique in its ability to combine a finite number of categories to express infinitely varied meanings . The internship addresses how the basic constituents of langage (categories and rules) could be learned during infancy focusing on two ideas: extracting proto categories and rules from the sensory inputs using clustering or sparse coding techniques , and using mutual constraints linking the different levels of linguistic structures .

• Multimodal language learning

At four months of age, infants recognize a few very common words (their names, mommy, daddy, etc) , even though they are unable to produce them. This internship tests whether multimodal DNNs can simultaneously learn words and their approximate meaning on a parallel dataset of audio and video tracks This internship will be conducted in collaboration with Microsoft Research at Redmond, USA.

• Massive baby home data collection

Big baby data is essential to uncover the mysteries of early language acquisition . Here, we develop dense data recording in baby's homes using arrays of audio/3D video sensors , as well as toy-based evaluation of preverbal infant language acquisition, and we analyze the data in relation to computational models with unsupervised algorithms.

• Cracking the neural code for speech

How does the brain encode speech sounds? Progress in neuroimaging (ECoG, intracerebral electrical recording, etc) have resulted in a flow of data, both in human and animals. The internship will apply neural decoding methods and apply to neural data and data generated from deep neural architectures to explore hypotheses about the neural code for speech.

Langue du cours : Français
Credits ECTS : 20