| 课程号 |
01630670 |
学分 |
2 |
| 英文名称 |
Audiovisual speech processing |
| 先修课程 |
心理学、神经科学、信息科学的任何课程 |
| 中文简介 |
人类的各种感觉系统之间有复杂而密切的整合。听觉系统和视觉系统在言语加工过程中也有密切的功能整合。本课程将系统地讨论这两个认知加工系统 在言语加工过程中的功能联系以及相应的机制。共分为三个主要部分：（1）第一部分讲述听觉和视觉的言语加工是如何整合起来的；（2）第二部分集中讨论听觉视觉言语整合的脑机制；（3）第三部分介绍听、视整合在言语产生过程中的作用；（４）第四部分讨论听、视言语整合的机器加工。对选修本课程同学的评估分三个部分：（1）对所分配文章的讲解和问题回答；（2）在课堂上问题讨论活动中的参与；（3）根据自己的兴趣所选写的期末论文。 |
| 英文简介 |
In humans there are tight relationships between various sensory modalities. The auditory system and the visual system functionally integrate in speech processing. This course will explains how these two systems are involved in speech processing together. There are three major issues delivered by this course: (1) The first part of is largely devoted to audiovisual (AV) speech perception and to two main questions concerning human AV performance: how and where (in the brain) auditory (A) and visual (V) signals combine to access the mental lexicon; (2) the second part of the book is dedicated to neural mechanism underlying AV speech processing; (3) the third part presents the neural mechanisms underlying AV speech processing; (4) the fourth part discusses some of the latest developments in AV speech processing by machines, particularly in AV speech recognition and synthesis. The evaluation of this course is based on (1) the literature reading and Q & A, (2) activity in class discussion, and (3) the final essay. |
| 开课院系 |
心理与认知科学学院 |
| 通选课领域 |
|
| 是否属于艺术与美育 |
否 |
| 平台课性质 |
|
| 平台课类型 |
|
| 授课语言 |
中文 |
| 教材 |
Cross-language differences in informational masking of speech by speech: English versus Mandarin Chi,Wu et al.,Journal of Speech, Language, and Hearing Research,2012,A little more conversation, a little less action-candidate roles for the motor cortex in speech perception,Scott, S. K., McGettigan, C., Eisner, F.,Nature Reviews Neuroscience,2009,Audiovisual Speech Processing,Gerard Bailly等编译,Cambridge University Press,2012；
Stone tools, language and the brain in human evolution,Stout, D., Chaminade, T,Philosophical Transactions of the Royal Society B: Biological Sciences,2012,Temporally pre-presented lipreading cues release speech from informational masking,Wu et al.,Journal of the Acoustical Society of America,2013,Adding irrelevant information to the content prime reduces the prime-induced unmasking effect,Wu et al.,Hearing Research,2012,Auditory frequency-following response: a neurophysiological measure for studying the “cocktail-party problem”,Du et al.,Neuroscience and Biobehavioral Reviews,2011,Perceptual fusion tendency of speech sounds.,Huang et al.,Journal of Cognitive Neuroscience,2011,The effect of voice cuing on releasing Chinese speech from informational masking,Yang et al.,Speech Communication,2007,Top-down modulation of prepulse inhibition the startle reflex in humans and rats,Li et al.,Neuroscience and Biobehavioral Reviews,2009,Attitudinal prosody: What we know and directions for future study,Mitchell, R.L.C., Ross, E.D.,Neuroscience and Biobehavioral Reviews,2013, |
| 参考书 |
|
| 教学大纲 |
本课程将系统地讨论人类听觉系统和视觉系统在言语加工过程中的功能整合，进而对大脑言语加工的基本策略有进一步的认识，成为某些同学今后学习和研究工作的基础。
本课程每周上三次课，一次4学时；两次2学时。一共有以下的14项内容：
1) 多维言语识别的三个主要问题Three puzzles of multimodal speech perception（2学时）
2) 视觉言语认知 Visual speech perception （2学时）
3) 知觉面部的动态信息Dynamic information for face perception （2学时）
4) 听觉-视觉言语加工的个体发展 auditory-visual speech perception development （2学时）
5) 言语视觉加工的脑机制Brain bases for seeing speech（6学时）
6) 线索性言语产生的时间组织Temporal organization of Cued Speech production （2学时）
7) 在言语产生的自然时间过程中的双系统性知觉Bimodal perception within the natural time-course of speech production （2学时）
8) 视觉言语以及听-视言语的机器合成和识别Visual and audiovisual synthesis and recognition of speech by computers （2学时）
9) 听-视自动言语识别Audiovisual automatic speech recognition （2学时）
10) 基于图像的面孔合成Image-based facial synthesis （2学时）
11) 可训练化的视频现实言语动画系统A trainable videorealistic speech animation system （2学时）
12) 被动画的言语Animated speech（2学时）
13) 多维言语加工中的知觉和运动的关联Perceptual-motor linkage of multimodal speech（2学时）
14) 言语产生的感觉运动特征Sensorimotor characteristics of speech production（2学时）
本课程将采用文献阅读、课堂讲解和讨论、以及撰写论文等教学方式。
对选修本课程同学的评估分三个部分：
（1）对所分配文章的讲解和问题回答；
（2）在课堂上问题讨论活动中的参与；
（3）根据自己的兴趣所选写的期末论文。
|
| 教学评估 |
李量：
学年度学期：16-17-3，课程班：听视觉言语加工整合及其脑机制1，课程推荐得分：3.75，教师推荐得分：3.75，课程得分分数段：95-100；
学年度学期：17-18-3，课程班：听视觉言语加工整合及其脑机制1，课程推荐得分：5.0，教师推荐得分：5.0，课程得分分数段：95-100；
学年度学期：18-19-3，课程班：听视觉言语加工整合及其脑机制1，课程推荐得分：0.0，教师推荐得分：8.0，课程得分分数段：80-85；
学年度学期：19-20-3，课程班：听视觉言语加工整合及其脑机制1，课程推荐得分：0.0，教师推荐得分：7.5，课程得分分数段：85-90；
学年度学期：20-21-3，课程班：听视觉言语加工整合及其脑机制1，课程推荐得分：0.0，教师推荐得分：9.17，课程得分分数段：95-100；
|
|