有效
三维成像方法和装置、以及三维成像设备
赵自然、柳兴、乔灵博、郑志敏、金颖康、游燕
同方威视技术股份有限公司
赵
赵自然机构 暂无
技术领域 暂无
柳
柳兴机构 暂无
技术领域 暂无
乔
乔灵博机构 暂无
技术领域 暂无
郑
郑志敏机构 暂无
技术领域 暂无
金
金颖康机构 暂无
技术领域 暂无
游
游燕机构 暂无
技术领域 暂无
摘要
本发明涉及一种三维成像方法和装置、以及三维成像设备。该三维成像方法包括:三维信息获取步骤,通过深度相机拍摄包含检测对象的三维拍摄区域,生成三维图像信息;掩膜提取步骤,从所述三维图像信息提取所述检测对象的掩膜;成像区域确定步骤,根据所述检测对象的掩膜来确定关于所述检测对象的成像区域;全息数据获取步骤,通过全息数据采集装置,拍摄包含所述检测对象的全息数据采集区域,生成全息数据;以及图像重建步骤,基于所述全息数据对所述成像区域进行图像重建。
1.一种三维成像方法,包括:三维信息获取步骤,通过深度相机拍摄包含检测对象的三维拍摄区域,生成三维图像信息;掩膜提取步骤,对所述三维图像信息应用图像分割算法,提取所述检测对象的掩膜,所述图像分割算法是通过在一定数量的安检场景的三维图像信息中标注人体掩膜作为训练数据来训练的基于机器学习的图像分割算法;成像区域确定步骤,根据所述检测对象的掩膜来确定关于所述检测对象的成像区域,所述成像区域是将要进行图像重建的区域;全息数据获取步骤,通过全息数据采集装置,对包含所述检测对象的全息数据采集区域进行数据采集,生成全息数据;以及图像重建步骤,基于所述全息数据对所述成像区域进行图像重建。
2.如权利要求1所述三维成像方法,其中,所述图像分割算法为基于神经网络的DeepLabV3+分割算法。
3.如权利要求1所述三维成像方法,其中,所述图像重建步骤采用反向传播成像算法来进行图像重建。
4.如权利要求3所述三维成像方法,其中,所述全息数据采集装置包括多发多收天线阵列,所述多发多收天线阵列包括收发毫米波的多对发射天线和接收天线,所述反向传播成像算法包括:针对所述成像区域的像素点,计算从该像素点到每一对发射天线和接收天线的距离之和;基于所述接收天线接收到的全息数据以及所述距离之和,按照所有发射天线和接收天线、以及所述毫米波的发射频率进行求和,获得所述成像区域的各像素点的复反射率;针对所述成像区域的所有像素点计算复反射率,基于复反射率形成重建图像。
5.如权利要求4所述三维成像方法,其中,所述反向传播成像算法包括:利用公式(1),计算所述成像区域中的像素点(x,y,z)到每一对所述发射天线和所述接收天线的距离之和r T,R ,基于所述接收天线所接收到的全息数据s(x T ,y T ,x R ,y R, k)、以及所述距离之和r T,R ,利用公式(2),求出所述成像区域中的像素点(x,y,z)的复反射率 其中,(x R ,y R ,0)为接收天线的坐标,(x T ,y T ,0)为发射天线的坐标,(x,y,z)为所述成像区域中的像素点的坐标,k为波数,k=2π/λ,其中λ为波长,j为虚数符号,针对成像区域的所有像素点,计算复反射率,基于所述复反射率形成重建图像。
6.如权利要求3所述三维成像方法,其中,所述全息数据采集装置包括多发多收天线阵列,所述多发多收天线阵列包括收发毫米波的多对发射天线和接收天线,所述反向传播成像算法为快速反向传播成像算法,包括:针对每一对发射天线和接收天线,分别计算所述一对发射天线和接收天线对所述成像区域中的各像素点的贡献值;针对所有对发射天线和接收天线,基于所述贡献值,按照所有发射天线和接收天线进行求和,获得所述成像区域的各像素点的复反射率;基于所述复反射率,形成重建图像。
7.如权利要求6所述三维成像方法,其中,针对每一对发射天线和接收天线,计算所述一对发射天线和接收天线对所述成像区域中的各像素点的贡献值包括:针对所述一对发射天线和接收天线,计算从所述成像区域的各像素点分别到所述一对发射天线和所述接收天线的距离之和;基于所述距离之和以及所述接收天线接收的全息数据,计算所述贡献值。
8.如权利要求7所述三维成像方法,其中,所述快速反向传播成像算法包括:通过公式(3),针对每一对所述发射天线和所述接收天线,计算从所述成像区域的像素点(x,y,z)分别到所述一对发射天线和所述接收天线的距离之和r T,R ,通过公式(4),基于所述距离之和r T,R 和所述全息数据s(x T ,y T ,x R ,y R ,k),计算对所述像素点(x,y,z)的贡献值P T,R ,基于所述贡献值P T,R ,利用公式(5),求出所述成像区域的各像素点的复反射率 其中,r T,R 为从一对所述发射天线和所述接收天线分别到所述成像区域中的像素点(x,y,z)的距离之和,s(x T ,y T ,x R ,y R ,k)是通过一对发射天线和接收天线获得到的全息数据,k为波数,k=2π/λ,其中λ为波长,j为虚数符号;基于所述复反射率,形成重建图像。
9.如权利要求6所述三维成像方法,其中,针对每一对发射天线和接收天线,计算所述一对发射天线和接收天线对所述成像区域中的各像素点的贡献值包括:在所述成像区域中的像素点之中,将分别到所述一对发射天线和所述接收天线的距离之和相同的像素点划分为一组;计算所述一对发射天线和接收天线对所述一组的任一个像素点的所述贡献值,作为该组中各像素点的贡献值。
10.如权利要求6所述三维成像方法,其中,针对每一对发射天线和接收天线,计算所述一对发射天线和接收天线对所述成像区域中的各像素点的贡献值包括:计算所述成像区域中的所有像素点到所述一对发射天线和所述接收天线的距离之和的最小值和最大值;将所述最小值和最大值之间的距离以等间距分为N个,获得N个距离之和的等分值(r 1 ,r 2 ,…,r N );计算所述成像区域中的任一个像素点到所述一对发射天线和所述接收天线的距离之和,确定与该距离之和最近的等分值,将所述最近的等分值作为该像素点的所述距离之和;对所述成像区域中的所有像素点,确定最近的等分值;分别将N个等分值作为所述距离之和,计算所述贡献值。
11.如权利要求1所述三维成像方法,还包括:关键点确定步骤,基于深度学习模型,确定检测对象的核心关键点,成像区域调整步骤,基于所述核心关键点,对所述成像区域中的与所述核心关键点相关的检测对象的部位进行选择,由此调整所述成像区域。
12.如权利要求1所述三维成像方法,还包括:关键点确定步骤,基于深度学习模型,确定检测对象的核心关键点,检测对象姿态判断步骤,根据所述核心关键点的位置,判断检测对象的姿态是否正确,若不正确,则报警。
13.一种三维成像系统,其特征在于,包括深度相机、全息数据采集装置以及控制装置,所述控制装置包括:三维信息获取模块,控制所述深度相机拍摄包含检测对象的三维拍摄区域,获取三维图像信息;掩膜提取模块,对所述三维图像信息应用图像分割算法,提取所述检测对象的掩膜,所述图像分割算法是通过在一定数量的安检场景的三维图像信息中标注人体掩膜作为训练数据来训练的基于机器学习的图像分割算法;成像区域确定模块,根据所述检测对象的掩膜来确定关于所述检测对象的成像区域,所述成像区域是将要进行图像重建的区域;全息数据获取模块,控制所述全息数据采集装置,对包含所述检测对象的全息数据采集区域进行数据采集,获取全息数据;以及图像重建模块,基于所述全息数据对所述成像区域进行图像重建。
14.如权利要求13所述的三维成像系统,其中,所述全息数据采集装置包括多发多收天线阵列,所述多发多收天线阵列包括收发毫米波的多对发射天线和接收天线。
15.一种三维成像装置,包括:三维图像信息获取模块,获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息;掩膜提取模块,对所述三维图像信息应用图像分割算法,提取所述检测对象的掩膜,所述图像分割算法是通过在一定数量的安检场景的三维图像信息中标注人体掩膜作为训练数据来训练的基于机器学习的图像分割算法;成像区域确定模块,根据所述检测对象的掩膜来确定关于所述检测对象的成像区域,所述成像区域是将要进行图像重建的区域;全息数据获取模块,获取通过全息数据采集装置对包含所述检测对象的全息数据采集区域进行数据采集而得的全息数据;以及图像重建模块,基于所述全息数据对所述成像区域进行图像重建。
16.一种计算机可读介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现:三维图像信息获取步骤,获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息;掩膜提取步骤,对所述三维图像信息应用图像分割算法,提取所述检测对象的掩膜,所述图像分割算法是通过在一定数量的安检场景的三维图像信息中标注人体掩膜作为训练数据来训练的基于机器学习的图像分割算法;成像区域确定步骤,根据所述检测对象的掩膜来确定关于所述检测对象的成像区域,所述成像区域是将要进行图像重建的区域;全息数据获取步骤,获取通过全息数据采集装置对包含所述检测对象的全息数据采集区域进行数据采集而得的全息数据;以及图像重建步骤,基于所述全息数据对所述成像区域进行图像重建。
17.一种三维成像设备,包括存储器、处理器、以及存储在所述存储器中并可被所述处理器运行的程序指令,所述三维成像设备的特征在于,所述处理器执行所述程序指令时实现:三维图像信息获取步骤,获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息;掩膜提取步骤,对所述三维图像信息应用图像分割算法,提取所述检测对象的掩膜,所述图像分割算法是通过在一定数量的安检场景的三维图像信息中标注人体掩膜作为训练数据来训练的基于机器学习的图像分割算法;成像区域确定步骤,根据所述检测对象的掩膜来确定关于所述检测对象的成像区域,所述成像区域是将要进行图像重建的区域;全息数据获取步骤,获取通过全息数据采集装置对包含所述检测对象的全息数据采集区域进行数据采集而得的全息数据;以及图像重建步骤,基于所述全息数据对所述成像区域进行图像重建。



