母院背景

母院背景

中心介绍

Introduction

 集成所-智能设计与机器视觉研究室

智能设计与机器视觉研究室成立于2008年2月,定位于计算机视觉与计算机图形学领域的前沿基础问题研究,并致力于智能设计与机器视觉领域的应用技术与系统开发,促进相关技术成果的转移转化。实验室现由香港中文大学王昌凌教授担任实验室主任,全职员工5人,其中研究员1人,副研究员1人,工程师3人,博士及硕士研究生7人。

研究室自成立以来,已发表包括计算机视觉领域顶级期刊IEEE T-PAMI,自动化领域顶级期刊IEEE T-IE,图像处理领域顶级期刊IEEE T-IP,计算机辅助设计领域顶级期刊CAD等SCI论文20余篇,申请及授权发明专利40余项,先后承担多项国家自然科学基金、广东省自然科学基金、中科院知识创新工程等重要研究课题,与华为、创维、亚泰光电等国内一线企业建立了紧密的合作关系,并先后承担和完成了7项企业委托科研项目,相关科研成果曾获得中央电视台“新闻联播”栏目报道。

宋展 中心执行主任

宋展,博士,研究员,博士生导师。2008年获香港中文大学计算机辅助工程与自动化专业博士学位,2009年加入深圳先进技术研究院,现任智能设计与机器视觉研究室执行主任。主要研究领域包括计算机视觉3D重建、模式识别与人机交互,累计已发表各类学术论文70余篇,其中SCI期刊论文18篇,其中所提出的“全三维结构光重建算法”为领域首创,通过单张结构光投影实现了高精度的三维法向和深度信息的同步重建,相关成果也发表与计算机视觉领域顶级期刊IEEE T-PAMI;所提出的“高鲁棒性二值编码算法”首次实现了对于反射特性表面的高精度三维扫描,重建效果明显优于现有的正弦结构光方法,相关成果也发表于自动化领域顶级期刊IEEE T-IE;所提出的“基于LCD的高精度结构光标定算法”,通过简单的LCD显示器实现了高精度的系统参数标定,该方法也被业内广泛采用,相关成果发表于测量领域权威期刊IEEE T-IM。截至2013年底,累计申请及授权发明专利20余项。先后承担国家自然科学基金、广东省自然科学基金、中科院知识创新工程等多项国家及省部级科研项目,先后承担了华为、创维、亚泰光电等企业委托课题7项,相关科研成果曾获得CCTV“新闻联播”栏目报道。

现为IEEE会员,参与多次国家及省市基金和科研项目的评审及验收工作,担任IEEE Trans. on Image Processing等多个国际期刊审稿人,参与组织多次国际学术会议,入选广东省第二批创新团队“机器人与智能信息系统团队”核心成员,入选深圳市“孔雀计划”B类人才,担任广东省光电影像技术专业委员会特邀顾问、广东省企业特派员、深圳市青年科技协会理事,荣获2011年度中科院院地合作先进个人(科技类)一等奖、2012年中国产学研合作创新奖(个人)等荣誉。

研究方向:

3D重建(3D Reconstruction)

人机交互(HCI)

 

 

 其他研究方向

1.全三维动态三维重建系统

人脸的动态全三维重建效果图

技术原理

采用伪随机彩色结构光编码技术,实现基于单张图像的三维点与及其独立法向的动态三维重建

点云精度: 0.1mm(1米距离,800x600mm范围)

法向精度: 1.65˚(1米距离,800x600mm范围)

重建时间: 1/30秒,取决于投影及相机刷新频率

特点:
 动态三维获取能力:采用空间编码技术,基于单次投射及图像获取,即可获取精确的三维信息。
 全三维重建算法:通过系统几何标定及投影模板设计算法,在重建高密度点云数据的同时也可以恢复出编码特征处的高精度三维法向信息,进而重建出更高质量和更高密度的动态三维模型。
 相关研究成果业已发表于IEEE Trans. on PAMI。
 可用于快速高精度的动态三维测量及三维人机交互娱乐系统。

 

2、并行高速三维扫描系统

静态物体扫描

主要技术指标

扫描速度: 1秒

点云数量: 1.3M×2

处理时间: <1秒

重构精度:0.04mm(1.2m, 800×600mm)

适用物体:除镜面反射外的绝大部分表面可直接扫描,无需喷涂处理。

特点:
 并行扫描:单次扫描获得两组独立互补三维点云数据。

 速度快:在1秒内完成扫描,采用高速相机与投影装置可进一步提高扫描速度。

 稳定性高:采用创新的结构光编解码算法,可直接扫描绝大多数包括黑色物体表面。

 处理速度快:C语言开发平台,可在1秒内完成200万点的空间坐标计算。

 可用于反求、文物三维档案、快速成型系统等的三维数字化装备。

3.超高精度三维扫描系统

主要技术指标

扫描速度: 1-3秒(取决于投影刷新率)

点云数量: 1.3M

处理时间: <1秒

重构精度:0.002mm(150mm, 50×40mm)

适用物体:除镜面反射外的绝大部分表面可直接扫描,无需喷涂处理。

硬币表面的三维重建(无喷涂处理,原始数据无平滑处理)


BGA表面及金属切割表面显微形貌的三维重建(无喷涂处理,原始数据无平滑处理)  

书写痕迹的及纸币表面纹理的三维重建

特点:
 精度达到微米级、低成本。
 单面扫描时间<3秒。
 可直接处理金属表面。
 可用于高精度测量、粗糙度测量、三维字体鉴定,油画三维扫描等领域。
 

 4.低成本快速三维指纹、掌纹采集系统 

技术特点1

1.   基于光度学原理。

2.   采用若干LED灯和同步相机,实现快速的指纹三维获取。

3.   成本低。

4.   速度快:可达0.1秒。

5.   综合指标远优于国际现有系统。

6.   可用于三维指纹采集与识别系统。

原始指纹照片及三维重构结果

掌纹原始照片及三维掌纹重构结果及局部放大三维视图

5.视觉交互式投影系统

技术特点

    低成本:普通摄像头+操作笔+后台软件。

 高速度:理论速度达到500FPS以上,普通摄像头上可达60FPS。

 高精度:定位精度0.1像素。

 操作方便:一键式操作,无需手工标定。

6.“指书”— 桌面型互动娱乐及人机交互系统

系统特点

 基于微型投影装置与普通摄像头,实现手指的直接桌面电脑操作、游戏娱乐与书写等各种操作功能。

 拟以嵌入式方式实现视觉图像处理,可集成到微型投影系统或投影手机内部,实现手指的交互式操作。

7.手部跟踪及手势识别系统

 手势识别系统

动态复杂背景手部跟踪系统

8.其他研究方向

 中国历史事件的重构和可视化

在历史建筑和情景的重构中,图片、视频甚至三维扫描数据被用作参考。虽然现有的CAD和3D建模技术提供了解决该问题的有效工具,但是建模的质量很大程度上依赖设计者的技能和经验。举例来说,当现有的信息(例如只有建筑物的一张图片)不足以细化一个3D模型,设计者需要提供缺失的细节。本项目提出的研究目标是开发一个工具库来帮助设计者基于不完整的参考数据重构3D模型。一个有待进一步研究的方法是利用图片的投影几何来推导物体的深度信息。另一方面,为了能被用于3D建模,图片中的纹理必须被转换为矩形图像。这些技术将会与”Curvair”(一个交互的中国式场景和人物开发工具)结合起来以提供一个完整的开发系统。”Curvair”提供一个工具集来创建地形,包括建筑物,例如长城、中国寺庙、工艺品等。通过将研发的工具,非现存的历史建筑和场景,例如圆明园,都可以被重构。可以预见该系统将在教育、博物馆、主题公园和计算机游戏行业有重大应用。

 机械仿真

本项目提出构造一个机械的头部,以模仿人的语言交流,并有同步的面部表情、头部和口部运动作配合。整个开发由多个阶段构成,从最基本的根据声音指令的口部开和闭到在装有传感器的人脸上生成面部运动,到从视频记录直接模拟人类表情。项目对研究如何把情感的不同表达管道(面部表情、眼睑位置、手部姿势等) 放在一起从而达到情感的识别和表达有所启发。项目的最终目标是建造一个与人友好的、富感性的、带表情的人机接口。这个项目的成功将对未来的机器人有很大影响。它们在医院和家庭中可作为带恰当面部表达的类人替代品。这个机械仿真装置本身也能够在一些服务行业中应用,例如银行和信息提供商等。其他新的应用,例如为观光者服务可以在不同语言和不同文化的肢体语言之间随意转换的对话人脸,都是可能的。本项目也能够应用于识别和显现来自不同文化和种族的人的表情。

 智能监控系统中姿态识别与估计

 3D显示与拍摄

 机器视觉测量

 计算机图形学

 

集成所-智能设计与机器视觉研究室

中心联系方式

CONTACT

联系人:曹晓燕

地址:天津市西青区海泰发展六道兴企一号园区

电话:022-83713221

邮箱:caoxiaoyan@tiat.ac.cn