母院背景

母院背景

中心介绍

Introduction

集成所--人机控制研究室

 

 

中国科学院香港中文大学深圳先进集成技术研究所(以下简称“集成所”)是2006年2月经中国科学院、深圳市人民政府和香港中文大学三方友好协商共建的从事先进集成技术研究与开发的组织,以应用基础研究、关键技术研究、技术集成与示范为重要的研究单元。
集成所一方面坚持多学科交叉,软硬件并重,以系统集成技术开发为主,以单项技术研发为辅的研究理念,建立先进集成科学与工程领域发展相应的学科基础;另一方面,坚持面向先进制造业与现代服务业的科技需求,以应用为导向,面向现代制造装备领域,开辟了以集成技术为特征的交叉学科,该学科包含了机器人与智能系统、先进制造与装备、汽车电子与节能等三大研究方向。

中心简介

 

人机控制研究室成立于2007年,主要致力于机器视觉及智能人机交互关键技术,包括快速三维重建、智能机器人、多传感器融合人机交互、计算机视觉在自动化生产线上的应用等。承担了多项政府和企业科研项目,近年来发表学术论文115篇,获得授权专利28件。已建成可视化及多媒体平台和机器人平台2个实验室,给学生提供了很好的学习研究平台。

 

 

中心主任

 

程俊 

程俊,研究员,博士生导师。2006年于香港中文大学获得博士学位,同年加入中国科学院深圳先进技术研究院。入选深圳市双百计划、深圳市高层次专业技术人才、深圳市孔雀计划人才、广东省引进海外科研创新团队核心成员。2007年创建了人机控制研究室,任研究室主任,从事计算机视觉、机器人、人机交互方面的研究,承担50多个政府和企业科研项目,在国际期刊和国际会议上发表高质量学术论文100多篇,获得2件美国发明专利授权,1件新加坡发明专利授权,13件国家发明专利授权,10件实用新型专利,2件外观设计,申请了30多件国家发明专利。2014年获得吴文俊人工智能科学技术进步奖二等奖(第一完成人)。担任中组部青年千人计划、国家自然科学基金、广东省、深圳市科技项目评审专家。与企业合作紧密,孵化了两家国家高新技术企业,推出了爱动在线运动机、小Q机器人、Q影3款产品。 

 

实验室一角

 

              

项目简介

 一、智能交互式机器人

 1、智能互联网机器人(小Q机器人) 

 小Q机器人融合了互联网技术和智能机器人技术,是中国科学院与腾讯公司重大战略合作项目,依靠强大的技术平台,通过与腾讯QQ的整合,以生动的表情肢体动作、语音互动、行为学习等方式,丰富和拓展了人们的在线生活,并使智能机器人走进千家万户,真正成为人们的在线生活伴侣,主要功能包括: 
仿生互动:小Q拥有当下完整的基础仿生体系,拥有“微米级”高精度体感装置——搭配智能摄像头,对于人的语音、触摸、指令等均有流程的互动回应,同时其头部、翅膀、眼睛的灵活互动能让用户充分感受到智能宠物所带来的不同体验! 
语音操控:小Q的智能系统可以在中文环境下得到充分发挥,让用户体验智能时代的语音控制。用户通过发出语音操控指令,小Q随之互动给予反应,时时刻刻为用户带来小惊喜! 
远程传情:小Q是QQ的真实宠物体,化身小Q以真实的语音对话为基础进行即时语音消息提醒,便捷的智能语音输入转化为文字在线聊天,同时小Q还可以将表情真实立体的通过眼睛表现出来,使用户QQ聊天更加便捷,体验化身带来的真实感! 
动感音响:小Q拥有良好的SRS智能系统环绕音响,在互联音乐上首次达成了宠物触摸语音控制——让一个手势和一句歌名就能满足用户随时享受音乐的意愿。不仅如此,小Q还可以随着音乐节拍舞动! 
核心技术:智能人机交互、云服务、运动跟踪 
项目来源:国家发改委专项、广东省院合作、深圳技术攻关、深圳基础研究、院企联合实验室 

                                

 

 

2、微型互动投影——Q影 
自主研发的微型互动投影Q影,是全球首创光控是移动投影仪。Q影是投影画面16:9,采用DLP技术,使其只有拳头大小的机身可以投影超过120英寸的影像。Q影与普通微型投影仪最大的领先优势在于——Q影拥有独特的互动技术,能够感知配套的触控笔或遥控笔操作。用户可使用触控笔在投影画面上直接点触操作,比如涂鸦作画、修改PPT、电子书备注、浏览网页、玩网页游戏等,让任何一个屏幕成为触摸屏;使用遥控笔可以模拟鼠标操作,实现远程操作。 
Q影配备的光学触控笔,能在投影平面进行互动,操作分辨率高达3200´2400,显示倍数高达20倍。同时Q影配备的远距光控笔,采用半导体激光技术,可以带来完美线性光控反馈。光控笔分辨率高达2560´1920,并设置了单双击操作,控制定位精度1个像素,响应时间小于40ms,隔空与投影画面进行互动,体验游戏带来的快感。Q影支持连接苹果、安卓系统设备,可无缝结合支持家庭影院设备Apple TV以及小米盒子。 
项目来源:国家发改委专项、广东省院合作、深圳技术攻关、深圳基础研究、院企联合实验室 

 

 

3、下棋机器人 
随着机器人技术的快速发展,家庭服务机器人逐渐走进了普通家居生活。人机交互技术,作为一项关键技术已成为机器人领域的研究热点,即用户以何种方式实现与机器人之间的交流与控制。本项目针对家庭服务机器人的人机交互需求,系统地研究了人-机信息感知和反馈方法,实现人与机器人的自然交互,主要功能包括: 
下棋功能:投影仪投射数字棋盘,例如“五子棋”或“象棋”,通过视觉识别人手和机器手指的空间位置,驱动机器手沿着规划路径运动到指定位置,实现人与机器对弈 
猜拳功能:用户与机器手同时出拳,例如,“石头”、“剪刀”或“布”,同时,机器人识别人手的状态,判断结果,并通过语音输出,实现猜拳互动 
核心技术:空间定位、手势识别、信息融合、人机控制 
项目来源:中科院知识创新工程 

 

                

 

4、老人服务机器人 
人口老龄化已经成为世界范围的重大社会问题,我国老年人口已占全国总人口的10%,老龄化日趋严重,需要社会的关爱和照顾。本项目旨在研发老人服务机器人的关键技术及应用模块,为老年人提供诸如情感交流、健康监护及护理等服务,以提高老年人的生活质量,主要功能包括: 
基于语音和唇形的情感识别,能够感知老人的心情,陪老人聊天 
基于多传感器融合的意外情况(如摔倒)监护 
根据老人的健康状况制定老人的饮食计划和健身计划,提醒老人按时服药 
开发适合老人锻炼的虚拟健身功能 
项目来源:中科院知识创新工程 

 

            

 

二、体感交互技术及系统 

 

1、标记点虚拟体育交互系统 
为了更广泛地开展群众性体育活动,增强人民体质,国家开展了全民健身计划。然而很多的体育项目会受到场地和时间等因素的制约,很难达到普及的程度。如果能够利用计算机的优势,将体育运动变成在虚拟环境中进行,例如可以在客厅里面打网球、高尔夫球等,就可以有效地提高全民健身运动的普及程度。本项目主要研究虚拟体育运动,即人与电脑之间(或者人与人间通过互联网)的交互进行体育运动,利用计算机视觉技术识别人体以及体育器械的运动状态和动作模式,并将动作模式反馈给计算机,控制虚拟体育运动中的角色做出相应的动作。此类人机交互平台的研究,以体育健身作为应用目标,实现人体运动动作的正确识别,达到全民健身的效果。  
项目来源:院企联合实验室、深港创新圈、深圳基础研究 

 

 

2、无标记点人体三维重建 
人体运动捕捉一直是计算机视觉领域的研究热点。传统方法采用的是带标志点的识别方式,通过对标志点进行图像匹配和三维重建,获取目标的三维信息。在微软公司2010年发布的KINECT系统中,应用了最先进的无标志点的基于数字散斑投影的三维测量技术,可以实时、高精度地重建出目标场景的深度信息,然后对场景中的人体进行三维信息处理、理解和跟踪。 
数字散斑相关法为三维体感人机交互提供了一种新颖的测量方法,并可以有效地应用于虚拟体育运动中。然而虚拟体育运动要求系统对数据进行实时处理,因此如何在保证一定测量精度的条件下,降低数字散斑相关搜索方法的计算复杂度是研究的重点。本项目通过理论和实验研究,开发了基于纹理光投射的双目立体视觉系统,并提出了一种基于相邻点的数字散斑快速搜索方法,该方法有效地提高了数据的利用率,灵活地避免了复杂运算。根据测量点的误差特征,提出了距离加权邻域平均法,显著地提高了测量精度并得到了非常好的测量结果。实验证明所提方法能快速、有效地测量物体的深度信息。 
此外,本项目针对IDONG300人机交互芯片集成需求,开发了高效率三维重建技术,实现了体感交互系统的低成本和小型化,标志着我们的核心技术已经在人机交互系统产业化方面迈出了坚实的一步。 
项目来源:国家自然科学基金、广东自然科学基金、深圳技术攻关、深圳基础研究、院企合作 

 

        

 

3、三维动作识别 
体感交互作为一种很自然的人机交互方式,在计算机体感游戏、移动终端控制、机器人控制和智能家电控制等方面具有广阔的应用前景,成为人机交互领域的研究热点之一。尤其是微软推出Kinect体感交互设备,为用户带来了新颖有趣、创新、高效的体验,进一步引发了体感交互技术革新及应用热潮,也使得基于深度图像的动作识别成为研究热点。 
本项目旨在研究基于深度图像的人体姿态估计与动作识别,可融合时空信息、深度图像信息、以及加速度等其他传感信号,通过提取不同维度上的特征,采用深度神经网络的分类方法,实现快速鲁棒的大规模动作识别,同时便于通过增量学习的方法不断扩展待识别动作的类别。本项目在多种信息融合实现大规模的动作类别识别理论上有所创新,研究成果可应用于增强现实、机器人、智能终端等多种人机交互场景。 
项目来源:深圳技术攻关、深圳基础研究、院企合作 

       

 

三、机器视觉智能化检测 

 

1、电路板自动光学检测 
半导体的制造过程十分复杂,很多工序采用自动光学检测(AOI)设备重建出晶圆、BGA等的三维形状,进而检查产品缺陷,提高产品合格率。另外在PCB加工过程中,随着线路板上元器件组装密度的提高,电气接触测试越来越困难,将AOI技术引入到SMT生产线的测试领域是大势所趋。AOI不但可对焊接质量进行检验,还可对光板、焊膏印刷质量、贴片质量等进行检查。各工序AOI的出现几乎完全替代人工操作,对提高产品质量、生产效率都是大有作为的。AOI通过摄像头自动采集PCB图像,测试焊点与数据库中合格参数比较,检查出缺陷,并通过显示器或自动标志把缺陷显示、标示出来,方便维修。本项目设计的AOI平台,针对半导体产品表面反射特性不均匀,提出创新的方法来完成晶圆、PCB等的二维和三维检测。 
项目来源:国家自然科学基金、中科院STS、深圳双百计划 

2、冲压件表面缺陷检测 
在家电产品生产中,框架板材经常出现外观缺陷,严重影响了喷漆后表面的美观性。因此,板材冲压件在喷漆之前,需要检测其表面的缺陷分布,以确保最终的家电外观质量。在现有检测技术中,光学检测具有判断准确、快速、稳定性高的优点,为表面缺陷的实时检测提供了解决方案。本项目采用三组彩色光源和CCD相机组成的模块高速抓拍冲压件表面图像,并将其传输到分布式硬件处理单元,经相关图像算法处理后,得到冲孔位置数据和冲压件表面异常数据,并判断缺陷类型及其所在区域。本项目系统已交付企业使用,克服了人工目检时存在的检测速度慢、准确率低等缺点,能满足自动化生产需求。由于该检测系统兼具成本和效率优势,可面向自动化生产的家电企业,起到改善产品质量控制的作用,进而获得更多的市场份额,创造更优的品牌价值。 
项目来源:企业横向 

 

    

 

3、手机外壳智能化检测 
以生产智能化为主要特征的“工业4.0”将对全球制造业升级发挥越来越大的引领作用,也将促进深圳“强化自主创新能力”、“提升产业发展水平”、“促进产业高端集聚”、“拓展现代制造服务”、“优化产业生态环境”。本项目面向我市移动终端制造业的需求,将研发工业视觉在产品表面缺陷检测系统中关键技术,实现高度集成的智能化表面缺陷检测设备。项目的顺利实施将提升我市在高端检测成套设备领域的自主创新能力,打破欧美、日本在该领域的垄断局面,从而推动深圳智能制造技术水平的突破,引领相关行业的产业升级,提高企业面对诸多因素导致的用工荒时的抗风险能力。 
经费来源:院企合作 

    

 

 

 

集成所--人机控制研究室

中心联系方式

CONTACT

联系人:曹晓燕

地址:天津市西青区海泰发展六道兴企一号园区

电话:022-83713221

邮箱:caoxiaoyan@tiat.ac.cn