Please enable JavaScript.
Coggle requires JavaScript to display documents.
INTÉGRATION MULTI-MODALE : EXEMPLE DES MODALITÉS VISUELLE ET AUDITIVE -…
INTÉGRATION MULTI-MODALE : EXEMPLE DES MODALITÉS VISUELLE ET AUDITIVE
MÉCANISMES DE L’INTÉGRATION MULTISENSORIELLE
3 grands principes
Proximité temporelle
Proximité spatiale
Efficacité inverse = plus un stimulus est ambigu, plus l’intégration multisensorielle est forte
intégration audiovisuelle importante chez les patients avec un déficit visuel car info visuelle dégradée
Expérience avec patients NSU
= info visuelle dégradée
panneau incurvé où ils doivent fixer le centre: 6 localisations de cibles visuelles + 6 haut-parleurs derrière
- Résultat
:
Détection plus faible si cible visuelle seule quand point le plus à gauche et si association cible et bruit avec un point et un haut-parleur éloigné
détection meilleure du point à gauche associé au son du haut-parleur à gauche (proximité spatiale)
==>
détection est plus facile quand le haut-parleur est à la même position spatiale que le stimulus visuel
Intégration multisensorielle influencée par
:
facteurs spatio-temporals
congruence sémantique
correspondances cross modales
INTERACTIONS MULTISENSORIELLES
La vision influence l’audition :
Phénomène de capture visuelle ; Effet Mc Gurk
Vidéo avec une personne disant des syllabes: les sons prononcés sont des « Ba » alors que les mouvements des lèvres sont des « Ga »
==> dissonance entre le visuel et le son, et le cerveau fait une réponse de compromis: ici, "da"
Effet de ventriloquisme spatial
Altération de la perception apparente d’une source sonore car une source visuelle différente de la source sonore
C’est la vision qui gagne car elle a des capacités de localisation spatiale + importante vs audition
==>
la perception est donc un phénomène de construction qui va intégrer les ≠ modalités sensorielles
L’audition influence la vision:
Décalage constant dans les informations auditives et visuelles (effet de ventriloquisme temporel)
Vitesse du son et de la lumière différentes => à plus de 10ù d'une source sonore, la différence est perceptible, or on ne le perçoit pas
Car à l’inverse : Le traitement visuel est plus lent (190 ms) que le traitement auditif (150 ms)
==>
Le cerveau va faire en sorte de faire coïncider les informations visuelles et auditives
L’audition a un rôle d’alerte important
la modalité à laquelle on fera le plus confiance est l’auditive
le cerveau va se situer au niveau du temps le moment où on a la source auditive
La perception de sons influence la perception de flashs
différents essais : un ou plusieurs flashs et et un ou plusieurs sons associés
Quand un seul flash + plusieurs sons pendants : la personne perçoit plusieurs flashs
L’audition a influencé la vision et a influencé le décours temporel = ressenti visuel de la perception visuelle des stimuli
Influence de l’audition sur l’orientation de l’attention spatiale visuelle
L’audition peut
augmenter
l’attention non-spatiale car role d’alerte de l’audition qui augmente l'attention
Si on fait l’inverse avec des stimuli visuel ça ne marche pas pour améliorer le traitement des sons
L’audition peut
orienter
l’attention spatiale visuelle (mais pas l’inverse)**:
Paradigme d’indiçage orthogonal :
Effet de l’indiçage auditif
=> cible visuelle du bon côté de l’indice auditif (essai congruent) : le sujet est plus rapide vs indice auditif du mauvais côté de la cible visuel
pas de bénéfice de l’indiçage visuel pour l’attention auditive
vision n’a pas ce même pouvoir d’alerte
Différences entre les modalités
Si dissociations, le cerveau fera confiance à la modalité qui a le + de chances de donner l’information correcte
Vision
: codage spatial précis dès la rétine mais faibles propriétés alertantes du système attentionnel visuel (persistance rétinienne => moins fiable)
Audition
: fortes propriétés alertantes car codage fréquentiez et temporal de la cochlée, mais précision plus faible du codage spatial
==>
pour jugement spatial : vision ; pour jugement temporel : audition
Facteurs d’intégration multisensorielle
Facteurs de congruence sémantique et synesthésique
Les stimuli congruents seront plus reliés ensemble = « effet d’unicité »
CORRESPONDANCES CROSS-MODALES
= associations entre ≠ dimensions/ caractéristiques de ≠ modalités sensorielles
Effet Baluma/Takete
associations spontanées entre caractéristiques basiques de sonorités et de formes sans véritable explication logique derrière = correspondance crossmodale
Effet SPARC (Spatial Pitch Association Response Codes)
= Effet d’association entre notes de musique & positions spatiales
On associera plus facilement un son grave avec une position basse dans l’espace et son aigu avec position haute
Dans une expérience, les personnes seront plus rapides à répondre quand le son grave sera associé au bouton bas et vice versa
Correspondances crossmodales entre hauteur d’un son et…
Positions spatiales
Luminosité
Brillance
Formes
Taille
La hauteur d’un son influence l’action
son grave ou aigu diffusé alors qu’un patient doit attraper un objet soit par la petite soit la grande partie
Sujet est plus rapide à aller prendre la petite partie de l’objet quand c’est précédé d’un son aigu et vice versa
≠ au niveau de l’ouverture de la main: plus grande ouverture de la main après un son grave qu’après un son aigu
==>
Son influence TR et MGA de l’action
Causes
Structurale
Implications de réseaux cérébraux communs pour traiter les infos visuelles, auditives, etc
Statistique
due aux régularités de notre environnement
Les sons graves ayant plus de chance d’être positionné bas, et les sons aigus en haut
Sémantique
termes linguistiques communs
on parle de basse fréquence (grave) et haute fréquence (aigu),