2018年9月13日出版的Journal of Experimental Psychology: General杂志刊发了窝窝视频网陈立翰副教授课题组的研究论文“What you see depends on what you hear: Temporal averaging and crossmodal integration.”，报道了该课题组在跨感觉通道信息整合方面的研究进展。
我们生活在一个多感觉信息输入的世界，在诸多的感觉通道信息输入中，人们通常依靠听觉信息进行精确的时间加工，即存在听觉时间信息处理的“优先性”效应。 这种“优先性”效应，使得人们自动地对同时发生的视觉事件的感知产生错觉。然而，在一个相对复杂的视听场景，听觉信息如何影响视觉事件的知觉加工的过程尚不清楚。课题组在最近10年的研究中，利用传统的视觉似动范式，开展了大量行为学实验，揭示了任务无关的声音刺激序列（包括不规则节律的序列）如何影响视觉事件的时距判断，从而影响其知觉状态的分类（图1）。研究提出了跨通道信息整合中，感觉通道信息权重动态变化的“部分贝叶斯整合”理论模型，挑战了此前众多研究所确立的“全”或“无”的整合规则（图2），并揭示了人们利用“几何平均”的跨通道知觉组织规律。该研究为日常生活中，我们所经历的复杂的视听交互等场景，奠定了崭新的跨通道“平均加工”知觉组织原则。
图 1. 研究的刺激序列示意图
图2. 基于“部分整合模型”得到不同时间条件下的权重的变化
陈立翰博士为论文的第一作者和通讯作者，合作者为周晓林教授（第二作者，北京大学）Hermann Mueller教授（第三作者，慕尼黑大学和伦敦大学伯贝克学院），以及施壮华教授（慕尼黑大学，第四作者，对本研究具有同等贡献）。研究论文的预印本发布后，得到包括iV， The vOICe, NeuroSyntheSys, TimingResearchForum等研究领域Tweets的广泛传播和转发。该项研究得到国家自然科学基金、中德跨学科重大合作研究项目以及中德科学文化交流项目等基金资助。
Lihan Chen*, Xiaolin Zhou, Hermann J. Müller, and Zhuanghua Shi (2018). What You See Depends on What You Hear: Temporal Averaging and Crossmodal Integration. Journal of Experimental Psychology: General.
2018-09-18