“基于跨媒体感知的人机交互关键技术研究与应用”项目由深圳市优必选科技股份有限公司牵头，北京航空航天大学、华南理工大学、深圳市声扬科技有限公司、广州智能装备研究院有限公司共同参与承担。项目总投资10830万元，其中自筹经费为7830万元，财政经费为3000万元（财政经费已拨付到位2400万元）。项目执行期2019年11月至2022年10月期间，项目已完成总投资投入10863.60 万元，其中自筹经费8555.41万元，财政经费投入2308.19万元。 项目基于跨媒体感知计算，围绕自适应场景及交互对象的视觉感知与建模、不确定环境语音交互与跨模态机器人情感认知、多模态高自由度自然交互系统、端云一体化智能实时推理平台、机器人操作系统中间件及核心交互框架与应用等主要研究内容开展技术研发，对场景和交互对象进行视觉、语音建模与语义理解、情感认知分析，研究人与人之间的内容表达、情感交流机制、人骨骼关节控制及其自由度，搭建人机交互系统模拟人的体态、表情、语调、语言、动作等多模态表达与跨模态协同。 项目建立了具备环境自适应感知、类人语音交互、情感认知、高自由度动作表达的自然人机交互系统，实现了开放情境下自适应可泛化的场景及交互对象视觉感知与建模模型，建立了基于跨模态语义理解与情感认知的机器人对话交互和情感表达模型，建立了多模态感知、识别、理解、决策好行动的循环系统，建立了端云一体化轻量化混合计算架构，实现了多模态、多自由度机器人交互应用突破。基于以上核心技术突破，研发了面向教育、服务、工业等应用场景的机器人（包括：Alpha系列机器人、Yanshee机器人、智慧防疫系列机器人、大型仿人机器人Walker系列等），实现人机环共融，项目期间新增销售收入47807.01万元,新增利税7171.05万元。 项目技术就绪度达到等级8，已申请高水平知识产权88项，其中PCT专利10项，发明专利78项；申请软件著作权20项。发表论文40篇，培养研究生人才14 名，培养博士后人才5名，制定国家标准5项。