除了McGurk effect,还有一些研究更直接地证明了视觉与听觉会互相影响。比如在Kording等人的实验中,他们给被试同时呈现一个亮光(视觉刺激)和一个声音(听觉刺激)。亮光和声音可能出现的位置有五个,它们可能出现在相同或不同的位置。如下图,最左侧一列表示的是亮光位置,从左至右共五个,最上面一行是声音位置,也是五个。被试的任务是判断亮光和声音分别出现在哪儿。
蓝线和红线表示的是结果。左侧第二列(no audio)表示在没有声音的情况下,被试对亮光位置的判断。第二列第一个图,蓝线在最左边最高,表明被试判断亮光在最左边的概率最高,向右依次降低。比如第二列第四个图,我们看到蓝线在第四个位置达到最高,说明被试更多地判断亮光在第四个位置。同理,上面第二行的红线是在没有亮光时被试对声音位置的判断,虽然出现的失误比判断亮光时多,但还是相对准确的。那么在亮光和声音同时出现时呢?这里的结果是说对亮光位置的判断没什么影响,但对声音位置的判断有。我们看最右边一列从下往上第三个图(亮光在中间,声音在最右边),红线表示被试对声音位置的判断,我们可以看出正确率明显比没有亮光的情况下低。没有亮光时(最上面那个只有红线的图),被试们更多地认为声音在最右的位置。但有亮光切亮光在中间时,被试更多地认为声音出现在第四个位置。这说明对声音位置的判断被“拉”向了亮光的位置。不过亮光对声音的影响也有可能是促进,比如从下往上第二行,从右往左第二个图,亮光和声音都出现在左数第四个位置时,被试判断正确的概率比没有亮光时更高。这说明与声音出现在同一位置的亮光促进了对声音位置的判断。
那么,为什么声音位置对亮光位置的判断几乎没有影响,而亮光对声音的判断则影响比较大?这是说明相对于听觉来说视觉占主导吗?我与老师交流后觉得未必如此,观察到的“不对等”可能与这个任务有关。在这里被试判断的是亮光和声音的空间位置,对空间位置的知觉上确实视觉比较占优。比如我们用眼睛对一个物体定位很容易,但用耳朵对一个声音定位就相对不准确。但对于另外一些任务,比如时间上的定位(temporal localization,如两个出现时间间隔很小的物体/声音出现的先后顺序),听觉就比较占优。所以,视觉能“影响”听觉可能是因为在听觉这个维度上信息不确定性比较大。
Heron等人(2004)的实验就研究了不确定性对视听觉交互的影响。在他们的实验里,屏幕上一共有三个白色刺激(文中成为blob,可以理解为三个外周模糊的白色圆)。中间的圆(运动圆)可以水平运动,两边的圆(静止圆)静止。被试眼睛盯着屏幕中央,运动圆每次会随机出现在一个位置,然后往左或往右运动。当运动到屏幕中间某一个位置时,运动圆就会被弹回去(即往回走)。在圆弹回时或在此之前的20ms或40ms或80ms或160ms,会有个声音出现。被试要判断这个被弹回去的点是在静止圆“连”成的分界线之前还是之后。如果视觉信息会被听觉信息影响,那么对弹回点的判断就会受到声音出现时间的影响。也就是说,如果声音出现时间比弹回时刻早,那么被试判断出的弹回点就会比实际的弹回点更“早”。
研究者控制的是视觉信息和听觉信息的相对不确定性(uncertainty)。比如,运动圆有时比较大(不确定性高)有时比较小(不确定性低)**。根据假设,不确定性高时容易被听觉信息影响。于是,圆比较大时,如果声音早于弹回点出现,被试知觉到的弹回点就会比实际弹回点早。而圆比较小时不确定性低,受到的影响就比较小,判断就会比较准确。实验结果也的确如此。
以上这些实验给以下观点提供了证据:
1,视觉与听觉可以互相影响,且它们进一步影响了其它认知功能(如对语言的知觉)。
2,其互相影响的程度可能与信息不确定性有关,如果一个感觉通道获得的信息比较不确定,那么人们对于这一感觉通道的知觉更容易被其它感觉通道获得的信息影响。
我个人觉得,不同的感觉通道是协同工作的,根本目的是让生物对周围环境的知觉更为准确。所以这些结果也是情理之中,如果看到的东西比较让人难以判断,那么自然会整合听到的东西来帮助自己判断。不过这与因果推断(causal inference)也是有关的。在上面这个实验里,声音与弹回很接近,所以人们才会把两者关联起来。想象一下如果声音很早就出现了,比如在运动圆一出现时就出现了,那人们也不会因此就觉得圆很早就弹回了,因为此时声音显得与弹回一点儿关系都没有。
不知道是习惯还是心理原因还是真的有影响。快400度,但是平时跟人交流中很依赖眼神交流,所以不戴眼镜老觉得没安全感。有次跟室友一起去食堂吃饭没带眼镜跟大叔说了要什么之后,大叔又问我要宽粉还是细粉,我当时真的是知道他在跟我说话但是我又好像完全听不到他在说什么,耳边只有嘈杂的声音,直到大叔问了三遍,我还是一脸懵比痴呆症:宝宝也很想知道你到底在说什么但是宝宝真的听不清啊呜呜呜!感受到大叔又好笑又无奈又奇怪地看着我,我俩默契地同时把头转向了我旁边的室友。室友又转述了一遍给我我才知道在说什么。虽然有过这样的经历,但是我还是比较偏向于认为是身体的习惯而不是从生物学意义上两者会产生影响,个人觉得出现这种情况一般是因为身体习惯了同时用眼睛和耳朵其中一个功能突然失常之后,身体还没有适应新情况,时间稍长一些身体适应之后应该就好了。
是有影响的。我记得之前看过一个关于这个的纪录片。片子里提供的一个很简单的实验方法是这样的:首先播放一段可以清晰看到发音者口型的视频,让被试猜发音者所发的到底是哪个音;然后播放同一条视频,但是这次被试闭上眼单纯靠听觉判断。实验结果是听觉会受到视觉的影响。因为实验提供的视频里,表演者做的口型和他发的音其实不同,而当被试看着视频时,他的听觉收到了视觉的干扰,所以对视频中的声音产生了错误的判断。
当然啦,我仅仅是举个例子,很多鬼畜或者其他洗脑的东西,看到/听到就会让人仿佛听到/看到,但是我不确定你说的那种干扰是不是这种呐。
已有研究表明,视觉与听觉是会互相影响或者说交互(audio-visual interaction)的。所谓“交互”就是说听觉与视觉不一定是要互相干扰,他们相互作用、互为补充,最终的目的是让我们的知觉更加准确。






