刘瑞
办公地点：suncitygroup太阳集团赛罕校区 太阳成集团tyc522cc227
办公电话：0471-4996055
E-mail: liurui_imu@163.com
教育经历：
（1）2019-08至2020-08，新加坡国立大学，国家留学基金委联合培养博士研究生
导师：李海洲（Haizhou Li）教授, （IEEE Fellow，新加坡工程院院士，国家海外高层次人才，现任香港中文大学（深圳）人工智能学院院长）
（2）2014-09至2020-08，suncitygroup太阳集团，博士研究生
导师：高光来教授
（3）2010-09至2014-06，太原理工大学，本科生
工作经历：
（1）2020-08至2022-01，新加坡国立大学，博士后研究员
导师：李海洲（Haizhou Li）教授, （IEEE Fellow，新加坡工程院院士，国家海外高层次人才，现任香港中文大学（深圳）人工智能学院院长)
（2）2022-01至今，suncitygroup太阳集团，太阳成集团tyc522cc，研究员、博士生导师
（3）2024-12至今，suncitygroup太阳集团，太阳成集团tyc522cc，教授、博士生导师
一、个人简介:
suncitygroup太阳集团人工智能学院副院长，教授、博士生导师、骏马计划B1岗研究员。入选中国科协青年人才托举（青托）工程（依托中国人工智能学会）、内蒙古杰青、腾讯“犀牛鸟精英人才”校内联合导师。主持国自然面上、国自然青年、内蒙古自治区杰出青年基金项目、中央引导地方科技发展计划项目、内蒙古自治区重点研发和成果转化计划项目、内蒙古自治区草原英才等10余项国家/省部级项目。
主要研究方向为人机语音交互、具身语音智能，相关成果以第一或通讯作者发表于IEEE-TASLP、 IEEE-TAFFC 、 Neural Networks 、 Information Fusion 和 ACL、ACMMM、AAAI 等中科院一区、CCF-A类的领域顶级学术会议或期刊等。其中ESI 高被引1篇，IEEE 国际会议最佳论文奖2篇。担任国际期刊 Information Fusion 编委、国际期刊TAFFC、 TALLIP、CSL副编辑。担任内蒙古自治区青年科技工作者协会 第三届理事会理事；内蒙古自治区青年科技工作者协会 人工智能与电子信息专业委员会 秘书长等。
二、团队研究方向：
1.人机语音交互。侧重人机语音对话过程中的多模态信息理解和生成。
2.具身智能感知与推理。侧重机器人、智能体在动态复杂声学环境下的智能感知和认知推理
3.智能语音信息处理。侧重基于深度学习、预训练大模型的语音生成、语音理解、语音编辑语音识别、语音对话、语音鉴伪等任务。
4.多语种自然语言处理。面向中蒙英俄等多语种的机器翻译、文字识别、语音识别、语音合成语音翻译等。
5.多模态信息处理。包括语音、文本、图像和视频的多模态情感分析、内容理解等。
三、代表性科研成果：（完整列表见Google Scholar）
会议
· Rui Liu, Yuan Zhao, Zhenqi Jia. “Towards Authentic Movie Dubbing with Retrieve-Augmented Director-Actor Interaction Learning.” AAAI’2026 (2026) (人工智能领域顶级会议，中国计算机学会推荐A类会议， 唯一通讯作者)（机器之心报道: https://mp.weixin.qq.com/s/4YjXXShqv2HjqAyyY05GjQ）
· Lingfeng Zhang, Shuyi Zhang, Qiang Zhang, Haoxiang Fu,Rui Liu, Xiaoshuai Hao, Long Chen, Wenbo Ding. “Chain-Talker: Chain Understanding and Rendering for Empathetic Conversational Speech Synthesis.” AAAI’2026 (2026) (人工智能领域顶级会议，中国计算机学会推荐A类会议) (与小米汽车、鹏城实验室、清华大学、新加坡国立大学、中科院自动化所、香港科技大学等合作)
· Zheng Lian, Haoyu Chen, Lan Chen, Haiyang Sun, Licai Sun, Yong Ren, Zebang Cheng, Bin Liu, Rui Liu, Xiaojiang Peng, Jiangyan Yi, Jianhua Tao. “AffectGPT: A New Dataset, Model, and Benchmark for Emotion Understanding with Multimodal Large Language Models.” ICML’2025 (2025) (机器学习领域顶级会议，中国计算机学会推荐A类会议) (与中科院自动化所等合作)
· Zheng Lian, Haiyang Sun, Licai Sun, Haoyu Chen, Lan Chen, Hao Gu, Zhuofan Wen, Shun Chen, Zhang Siyuan, Hailiang Yao, Bin Liu, Rui Liu, Shan Liang, Ya Li, Jiangyan Yi, Jianhua Tao. “OV-MER: Towards Open-Vocabulary Multimodal Emotion Recognition.” ICML’2025 (2025) (机器学习领域顶级会议，中国计算机学会推荐A类会议) (与中科院自动化所等合作)
· Rui Liu*, Haolin Zuo, Zheng Lian, Hongyu Yuan, Qi Fan. “Hardness-Aware Dynamic Curriculum Learning for Robust Multimodal Emotion Recognition with Missing Modalities.” ACMMM’2025 (2025) (多模态信息处理领域顶级会议，中国计算机学会推荐A类会议， 唯一通讯作者)
· Yifan Hu, Rui Liu*, Yi Ren, Xiang Yin, Haizhou Li. “UniTalker: Conversational Speech-Visual Synthesis.” ACMMM’2025 (2025) (多模态信息处理领域顶级会议，中国计算机学会推荐A类会议， 唯一通讯作者)
· Rui Liu, Shuwei He, Yifan Hu, Haizhou Li. “Multi-modal and Multi-scale Spatial Environment Understanding for Immersive Visual Text-to-Speech, ” AAAI’2025 (2025) (人工智能领域顶级会议，中国计算机学会/中国人工智能学会推荐A类会议，唯一第一作者)
· Yifan Hu, Rui Liu*, Yi Ren, Xiang Yin, Haizhou Li. “Chain-Talker: Chain Understanding and Rendering for Empathetic Conversational Speech Synthesis.” ACL’2025 (2025) (自然语言处理领域顶级会议，中国计算机学会推荐A类会议， 唯一通讯作者)
· Rui Liu, Yifan Hu, Yi Ren, Xiang Yin, Haizhou Li. “Generative Expressive Conversational Speech Synthesis.” ACM MM’2024. (2024) (多模态信息处理领域顶级会议，中国计算机学会/中国人工智能学会推荐A类会议，唯一第一作者)
· Rui Liu, Yifan Hu, Yi Ren, Xiang Yin, Haizhou Li. “Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling.” AAAI'2024. (2024) (人工智能领域顶级会议，中国计算机学会/中国人工智能学会推荐A类会议，唯一第一作者)
期刊
· Rui Liu, Jinhua Zhang, Haizhou Li. “Hierarchical Multi-Source Cues Fusion for Mono-to-Binaural based Audio Deepfake Detection.” Information Fusion. (2025) (人工智能领域顶级期刊，中国人工智能学会推荐A类期刊，中科院一区Top期刊，IF=14.8, 唯一第一作者)
· Rui Liu, Hongyu Yuan, Guanglai Gao, Haizhou Li. “Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition.” Information Fusion. (2025) (人工智能领域顶级期刊，中国人工智能学会推荐A类期刊，中科院一区Top期刊，IF=14.8, 唯一第一作者)
· Rui Liu, Zhenqi Jia, Feilong Bao*, Haizhou Li. “Retrieval-Augmented Dialogue Knowledge Aggregation for Expressive Conversational Speech Synthesis.” Information Fusion. (2025) (人工智能领域顶级期刊，中国人工智能学会推荐A类期刊，中科院一区Top期刊，IF=14.8, 唯一第一作者)
· Rui Liu, Kailin Liang, De Hu, Tao Li, Dongchao Yang, Haizhou Li. “Noise Robust Cross-Speaker Emotion Transfer in TTS through Knowledge Distillation and Orthogonal Constraint. ” IEEE Transactions on Audio, Speech, and Language Processing (IEEE -TASLP). (2025) (语音语言领域顶级期刊，中国人工智能学会推荐A类期刊，唯一第一作者)
· Rui Liu, Jinhua Zhang and Guanglai Gao. “Multi-Space Channel Representation Learning for Mono-to-Binaural Conversion based Audio Deepfake Detection.” Information Fusion. (2024) (人工智能领域顶级期刊，中国人工智能学会推荐A类期刊，中科院一区Top期刊，IF=14.8, 唯一第一作者)
· Rui Liu, Haolin Zuo, Zheng Lian, Bjorn W. Schuller and Haizhou Li. “Contrastive Learning based Modality-Invariant Feature Acquisition for Robust Multimodal Emotion Recognition with Missing Modalities.” IEEE Transactions on Affective Computing (IEEE-TAFFC). (2024) (情感计算领域顶级期刊，中国人工智能学会推荐A类期刊，唯一第一作者)
· Qiyuan Sun, Haolin Zuo, Rui Liu*, and Haizhou Li. “Connecting Cross-Modal Representations for Compact and Robust Multimodal Sentiment Analysis With Sentiment Word Substitution Error.” IEEE Transactions on Affective Computing (IEEE-TAFFC). (2024) (情感计算领域顶级期刊，中国人工智能学会推荐A类期刊，唯一通讯作者) (入选ESI高被引，第一作者为22 级本科生)
· Rui Liu, Berrak Sisman, Guanglai Gao and Haizhou Li. “Controllable Accented Text-to-Speech Synthesis with Fine and Coarse-Grained Intensity Rendering.” IEEE/ACM Transactions on Audio, Speech, and Language Processing. (2024) (语音语言领域顶级期刊，中国人工智能学会推荐A类期刊，唯一第一作者)
· Rui Liu, Yifan Hu, Haolin Zuo, Zhaojie Luo, Longbiao Wang and Guanglai Gao. “Text-to-Speech for Low-Resource Agglutinative Language with Morphology-Aware Language Model Pre-training.” IEEE/ACM Transactions on Audio, Speech, and Language Processing. (2024) (语音语言领域顶级期刊，中国人工智能学会推荐A类期刊，唯一第一作者)
· Zhaojie Luo, Shoufeng Lin, Rui Liu, Jun Baba, Yuichiro Yoshikawa, Ishiguro Hiroshi. “Decoupling Speaker-Independent Emotions for Voice Conversion Via Source-Filter Networks.” IEEE/ACM Transactions on Audio, Speech and Language Processing. (2022) (语音语言领域顶级期刊，中国人工智能学会推荐A类期刊，唯一通讯作者)
· Rui Liu, Berrak Sisman, Guanglai Gao, Haizhou Li. “Decoding Knowledge Transfer for Neural Text-to-Speech Training.” IEEE/ACM Transactions on Audio, Speech and Language Processing. (2022) (语音语言领域顶级期刊，中国人工智能学会推荐A类期刊，唯一第一作者)
四、主持项目：
- 科研项目
· 2025年, 内蒙古自治区重点研发和成果转化计划项目
· 2025年, 内蒙古自治区杰出青年（杰青）基金项目
· 2024年, 中国科协青年人才托举（青托）工程
· 2024年, 国家自然科学基金面上项目
· 2022年, 国家自然科学基金青年科学基金项目
· 2023年, 广东省数字孪生人重点实验室（华南理工大学）开放课题
· 2023年, 内蒙古自治区“草原英才”工程项目
· 2022年, 内蒙古自治区本级引进高层次人才科研支持
· 2023年, 自治区留学人员创新创业启动支持计划
· 2023年, 王宽诚教育基金会资助项目
· 2022年, suncitygroup太阳集团骏马计划高层次人才引进项目
- 教研项目
· 2024年, 教育部供需对接就业育人项目
· 2024年, suncitygroup太阳集团中国国际大学生创新大赛 2024”项目挖掘与培育课题（实践教学课题）
五、学术服务:
- 学术任职：
· 第七届中国青年科技工作者协会, 会员 2025 - 至今
· 第七届中国青年科技工作者协会, 人工智能信息专业委员会, 委员 2025 - 至今
· 第四届全国计算机科学技术名词审定委员会, 人工智能审定分委员会, 委员 2025 - 至今
· 中国计算机学会, 高级会员 2025 - 至今
· 中国计算机学会, 语音对话与听觉专业委员会, 执行委员兼秘书组成员 2022 - 至今
· 中国计算机学会, 人机交互专业委员会, 执行委员 2024 - 至今
· 中国计算机学会, 多媒体专业委员会, 执行委员 2024 - 至今
· 中国计算机学会, 人工智能与模式识别专业委员会, 执行委员 2025 - 至今
· 中国人工智能学会, 青年工作委员会, 委员 2023 - 至今
· 中国人工智能学会, 元宇宙技术委员会, 执行委员 2024 - 至今
· 中国人工智能学会, 多语种智能信息处理委员会, 委员 2024 - 至今
· 中国中文信息学会, 民族语言文字信息专业委员会, 执行委员 2022 - 至今
· 中国中文信息学会, 情感计算专业委员会, 执行委员 2025 - 至今
· 中国图象图形学学会, 多媒体专业委员会, 执行委员 2024 - 至今
· 中国图象图形学学会, 情感计算与理解专业委员会, 委员 2024 - 至今
- 会议服务：
Program Chair (程序委员会主席):
· IEEE-IALP 2024, Hohhot, China
Session Chair (分会主席):
· IEEE-ICASSP 2023, Greek
· IEEE-ISCSLP2024, Beijing, China
Industrial Liaison Chair (工业联络主席):
· NCMMSC2022, Hefei, China
· NCMMSC2023, Suzhou, China
Local Arrangement Co-chair (本地组织主席):
· O-COCOSDA 2021, Singapore
· IWSDS 2021, Singapore
· SIGDIAL 2021, Singapore
- 期刊编辑：
Editorial Board（编委）：
·Information Fusion（中科院一区 Top 期刊）
Associate Editor（副编辑）:
·IEEE Transactions on Affective Computing（IEEE-TAFFC）（中科院一区 Top 期刊）
·ACM Transactions on Asian and Low-Resource Language Information Processing（TALLIP）
Guest Editor（客座编辑）:
·IEEE Transactions on Consumer Electronics
六、所获奖励：
- 科研奖励
· 2025年9月, 内蒙古自治区科技进步一等奖
· 2025年6月, suncitygroup太阳集团“新时代青年先锋”
· 2024年12月, 第十二届中国技术市场协会金桥奖，项目二等奖
· 2023年6月, 教育部高等学校科学研究优秀成果奖（科学技术）—科学技术进步二等奖
· 2023年4月, 2022年ACM China新星奖（呼和浩特分会）
· 2021年12月, 2020年内蒙古自治区优秀博士学位论文
· 2021年12月, IALP2021 最佳论文奖（Best Paper Award）
· 2021年7月, 2020年 ACM China 优秀博士论文奖（呼和浩特分会）
· 2020年9月, suncitygroup太阳集团优秀博士学位论文
· 2020年2月, ICASSP IEEE SPS Travel Grant
· 2019年8月, 中国国家留学基金委奖学金
· 2018年10月, 博士研究生国家奖学金 （top 2% students）, 中华人民共和国教育部
· 2018年10月, 内蒙古自治区学业奖学金
· 2017年10月, 博士研究生国家奖学金（top 2% students）, 中华人民共和国教育部
· 2017年10月, 内蒙古自治区学业奖学金
· 2016年10月, 内蒙古自治区学业奖学金
- 教研奖励
· 2024年10月, 中国国际大学生创新大赛优秀创新创业导师奖
· 2024年9月, 中国国际大学生创新大赛内蒙古赛区选拔赛优秀创新创业导师奖
· 2024年5月, 首届suncitygroup太阳集团研究生教学成果奖，一等奖
· 2024年1月, 第四届suncitygroup太阳集团教师教学创新大赛，二等奖
七、教学成果：
- 比赛指导
· 2024年 中国国际大学生创新大赛（2024）全国总决赛 “青年红色筑梦之旅”赛道《阿尔泰电子-复杂文字古籍文献数字化一站式解决方案》，国家级金奖。（负责人: 欧日乐克；指导教师：秦志宏、斯劳格劳、魏来宏、刘瑞、石磊、额尔敦哈达）
· 2025年 第十九届“挑战杯”全国大学生课外学术科技作品竞赛《心灵捕手一真实场景下鲁棒多模态情感识别研究》全国三等奖（负责人: 孙启源；指导教师：刘瑞，卢慧）
· 2023年 中国国际大学生创新大赛（2023）《鉴伪存真-多语种多模态可信AI鉴定助手》，国家级铜奖。（负责人: 胡一帆；指导教师：刘瑞，秦志宏，石磊）
· 2024年 中国国际大学生创新大赛（2024）内蒙古赛区选拔赛 “青年红色筑梦之旅”赛道《阿尔泰电子-复杂文字古籍文献数字化一站式解决方案》，自治区金奖。（负责人: 欧日乐克；指导教师：秦志宏，斯劳格劳，刘瑞，石磊）
· 2025年 内蒙古自治区第十四届“挑战杯”全区大学生课外学术科技作品竞赛自然科学类《面向情感词替换错误的紧凑鲁棒多模态情感分析:跨模态表征关联方法》 自治区特等奖。（负责人: 孙启源；指导教师：刘瑞，卢慧）
- 项目/论文指导
· 2024年《基于主动健康大模型的多语种心理咨询机器人》，国家级大学生创新创业训练计划项目。（负责人: 刘国伟；指导教师：刘瑞）
· 2024年《基于大语言模型的拟人化口语对话生成》，suncitygroup太阳集团2024年研究生科研创新项目（重点项目）。（负责人: 胡一帆；指导教师：刘瑞）
· 2024年 本科毕业设计《基于深度学习的对话场景语音合成》, suncitygroup太阳集团特优毕业论文。（学生：贾铭轩；指导教师：刘瑞）
· 2023年 本科毕业设计《基于深度学习的对话语音情感强度预测研究》, suncitygroup太阳集团特优毕业论文。（学生：王丹祺；指导教师：刘瑞）
八、研究生团队先进案例：
· 左昊麟（2022级博士）: 入选2025 年腾讯犀牛鸟精英人才计划，入选 2025 年国家留学基金委（CSC） 联合培养博士研究生项目
· 胡一帆（2023级博士）：入选2024年度（首批）中国科协青年人才托举工程博士生专项计划（依托中国计算机学会），入选2025 年腾讯犀牛鸟精英人才计划，荣获2025年suncitygroup太阳集团校长励学奖（全校理工科唯一）
· 张锦华（2024级博士）： 2024 年国家奖学金
· 刘欢（2022级学硕）：2024 年国家奖学金
· 席嘉甜（2022级专硕）：2024 年国家奖学金
· 赵源（2023级学硕）：转校内硕博连读
· 王召阳（专硕）：IEEE-IALP 2025最佳论文奖
· 何树伟（2023级专硕）：获得百度offer
· 袁宏宇（2023级专硕）：转校内硕博连读
招生信息：
[1] S2LAB (语音理解与生成研究组)
[2] 推免生/考研生招生【长期有效】
欢迎计算机、软件工程、数学等专业学生报考硕士、博士生，优秀者可推荐至新加坡国立大学（NUS）、香港中文大学（深圳） 等多个合作单位访问学习或联合培养；
欢迎本科生参与课题组科研训练、论文发表和项目申报等，具有ACM、数学建模、国创等经验者优先。
欢迎优秀博士申请博士后！！！
2026年 2月
