(12)发明专利申请
(10)申请公布号 CN 108309251 A(43)申请公布日 2018.07.24
(21)申请号 201810228027.4(22)申请日 2018.03.20
(71)申请人 清华大学
地址 100084 北京市海淀区100084信箱82
分箱清华大学专利办公室(72)发明人 罗建文 蔡创坚 马骋 (74)专利代理机构 北京纪凯知识产权代理有限
公司 11245
代理人 徐宁 刘美丽(51)Int.Cl.
A61B 5/00(2006.01)G06N 3/08(2006.01)G06N 3/04(2006.01)
权利要求书2页 说明书5页 附图1页
(54)发明名称
基于深度神经网络的定量光声成像方法(57)摘要
本发明涉及一种基于深度神经网络的定量光声成像方法，其特征在于包括以下内容：构建深度神经网络框架，即ResU-net；采用不同波长下的输入初始声压图像和相应的定量图像训练ResU-net；对多波长的初始声压图像采用训练后的ResU-net进行定量光声成像，输出定量图像。本发明提出用于定量光声成像的深度神经网络，即ResU-net，ResU-net使用了残差学习机制，使得网络容易优化，并且可以达到相当的深度，以获得较高的准确率，进一步，本发明深度神经网络设置的收缩路径和扩张路径使得ResU-net可以从输入的多波长初始声压图像中提取全面的各个分辨率层面的环境信息，并且最终输出高分辨率的定量图像。
CN 108309251 ACN 108309251 A
权 利 要 求 书
1/2页
1.一种基于深度神经网络的定量光声成像方法，其特征在于包括以下内容：构建深度神经网络框架，即ResU-net；
采用不同波长下的输入初始声压图像和相应的定量图像训练ResU-net；对多波长的初始声压图像采用训练后的ResU-net进行定量光声成像，输出定量图像。2.如权利要求1所述的基于深度神经网络的定量光声成像方法，其特征在于，构建深度神经网络框架的具体过程为：
1)构建深度神经网络框架的子结构，子结构包括输入子结构、层子结构、收缩子结构、扩张子结构和输出子结构；
2)基于深度神经网络框架的子结构进行层级结构的逐层构建，获得深度神经网络框架，具体过程为：
层级结构的顶层层级结构依次包括输入子结构、顶层层子结构、扩张子结构和输出子结构；层级结构的第2层到第4层结构相同，均依次包括收缩子结构、收缩层子结构、扩张子结构和扩张层子结构；层级结构的底层层级结构依次包括收缩子结构和底层层子结构；其中，输入子结构、顶层层子结构、收缩子结构以及收缩层子结构构成收缩路径，底层层子结构、扩张子结构以及扩张层子结构以及输出子结构构成扩张路径；
输入子结构的输出作为顶层层子结构的输入，顶层层子结构的输出作为本层扩张子结构以及下一层收缩子结构的输入，顶层层级结构的扩张子结构的输出作为输出子结构的输入；第2层到第4层中的收缩子结构的输出对应各层收缩层子结构的输入，收缩层子结构的输出作为相应层的扩张子结构的输入以及下一层收缩子结构的输入；第2层到第4层中扩张子结构的输出对应各层扩张层子结构的输入，底层的收缩子结构的输出作为相应层的底层层子结构的输入，底层层子结构的输出作为上一层扩张子结构的输入，依次类推，直到第二层的扩张层子结构输出作为顶层的扩张子结构的输入。
3.如权利要求2所述的基于深度神经网络的定量光声成像方法，其特征在于，每一子结构均通过相应残差学习子结构对输入图像进行残差学习，残差学习子结构用于对图像进行残差学习，残差学习子结构包括主连接和捷径连接。
4.如权利要求3所述的基于深度神经网络的定量光声成像方法，其特征在于，对多波长的初始声压图像采用训练后的ResU-net进行定量光声成像，输出定量图像，具体过程为：
输入子结构将输入的多波长的初始声压图像通过输入残差学习子结构进行残差学习，在输入子结构中，主连接中的第一个卷积层会改变张量的通道数，将输入初始声压的波长数目改为32，而在捷径连接中，添加了一个卷积核1×1的卷积层进行相同的通道数目变换，即通过输入子结构将初始图像的通道数目设置为32，具体为：经过输入子结构将多张大小为128×128的图像输出为32张大小为128×128的图像，输入子结构将32张图像输入到顶层层子结构中微调提取特征，顶层层子结构将输出32张图片大小为128×128的图像输出到顶层的扩张子结构和第二层的收缩子结构；
收缩路径对图像从顶层到底层依次进行收缩，每一收缩子结构通过收缩残差学习子结构分别对图像分别进行处理，在主连接中图像会先经过最大池化层，图像尺寸减小一半，然后第一个卷积层使得通道数目翻倍，在捷径连接中，一个卷积核1×1的卷积层用来使得通道数目翻倍、图像尺寸减半，收缩子结构将处理后的图像发送到相应层的收缩层子结构微调提取特征，第二层的收缩层子结构相应输出通道数目为64，图片大小为64×64的图像到
2
CN 108309251 A
权 利 要 求 书
2/2页
相应层的扩张子结构以及下一层的收缩子结构，依次类推，底层的收缩子结构输出通道数目为512，图片大小为8×8的图像；
扩张路径对图像从底层到顶层依次进行扩张，每一扩张子结构通过扩张残差学习子结构分别对图像分别进行扩张，在主连接中，扩张路径中低一层的输出图像会先被增采成两倍，然后第一个卷积层会让通道数目减半；在第二个卷积层之前，图像会先和收缩路径输出的图像处理后级联，通道数目会再次倍增；经过第二个卷积层后，通道数目会减半恢复；在捷径连接当中，扩张路径低一层的输出会被增采，然后通过一个卷积核为1×1的卷积层，通道数目压缩一半；底层层子结构对底层的收缩子结构输出的通道数目为512，大小为8×8的图像微调提取特征输出到上一层的扩张子结构，扩张子结构将图像增采成两倍大小并将通道数目减半后与收缩路径输出的图像级联处理得到大小为16×16，通道数目为256的图像输出到扩张层子结构微调重建图像并输出到上一层的扩张子结构，依次类推，顶层的扩张子结构将顶层层子结构输出的图像和第2层的扩张层子结构输出的图像进行处理得到图片大小为128×128，通道数目为32的图像；
输出子结构用于通过输出残差学习子结构对顶层扩张子结构输出的图像进行残差学习，主连接中的第三个卷积层把通道数目从32改为1，使用1×1的卷积核，一个具有同样功能的卷积层也添加到捷径连接当中，输出子结构输出一张图片大小为128×128的定量图像。
3
CN 108309251 A
说 明 书
基于深度神经网络的定量光声成像方法
1/5页
技术领域
[0001]本发明涉及一种光声成像方法，特别是涉及一种基于深度神经网络的定量光声成像方法。
背景技术
[0002]光声(photoacoustic,PA)成像可以实现较好的空间分辨率和良好的特异性。定量光声成像(quantitative PA imaging，QPAI)可以将多光谱PA图像转换成一系列精准图像：例如用于分子成像的特定分子标志物的浓度图像、用于评估肿瘤生长、新陈代谢以及对各种治疗的抵抗力的血氧饱和度图等。
[0003]传统的QPAI方法无视波长对光通量的影响，并且使用线性拟合来估计SO2(即线性解混，linear unmixing)会带来严重误差。大多数的光通量矫正方法依赖于很强的假设，比如光学性质具有分段常数特性、要预先知道散射参数、要求背景光学参数均匀(并且已知)等，或者对大型高分辨率图像的重建计算量太大。扩散光学断层成像可以帮助估计光通量，代价是失去高空间分辨率的成分。
发明内容
[0004]针对上述问题，本发明的目的是提供一种能够输出高分辨率定量图像的基于深度神经网络的定量光声成像方法。[0005]为实现上述目的，本发明采取以下技术方案一种基于深度神经网络的定量光声成像方法，其特征在于包括以下内容：构建深度神经网络框架，即ResU-net；采用不同波长下的输入初始声压图像和相应的定量图像训练ResU-net；对多波长的初始声压图像采用训练后的ResU-net进行定量光声成像，输出定量图像。[0006]进一步地，构建深度神经网络框架的具体过程为：1)构建深度神经网络框架的子结构，子结构包括输入子结构、层子结构、收缩子结构、扩张子结构和输出子结构；2)基于深度神经网络框架的子结构进行层级结构的逐层构建，获得深度神经网络框架，具体过程为：层级结构的顶层层级结构依次包括输入子结构、顶层层子结构、扩张子结构和输出子结构；层级结构的第2层到第4层结构相同，均依次包括收缩子结构、收缩层子结构、扩张子结构和扩张层子结构；层级结构的底层层级结构依次包括收缩子结构和底层层子结构；其中，输入子结构、顶层层子结构、收缩子结构以及收缩层子结构构成收缩路径，底层层子结构、扩张子结构、扩张层子结构以及输出子结构构成扩张路径；输入子结构的输出作为顶层层子结构的输入，顶层层子结构的输出作为本层扩张子结构以及下一层收缩子结构的输入，顶层层级结构的扩张子结构的输出作为输出子结构的输入；第2层到第4层中的收缩子结构的输出对应各层收缩层子结构的输入，收缩层子结构的输出作为相应层的扩张子结构的输入以及下一层收缩子结构的输入；第2层到第4层中扩张子结构的输出对应各层扩张层子结构的输入，底层的收缩子结构的输出作为相应层的底层层子结构的输入，底层层子结构的输出作为上一层扩张子结构的输入，依次类推，直到第二层的扩张层子结构输出作为顶层的扩
4
CN 108309251 A
说 明 书
2/5页
张子结构的输入。[0007]进一步地，每一子结构均通过相应残差学习子结构对输入图像进行残差学习，残差学习子结构用于对图像进行残差学习，残差学习子结构包括主连接和捷径连接。[0008]进一步地，对多波长的初始声压图像采用训练后的ResU-net进行定量光声成像，输出定量图像，具体过程为：输入子结构将输入的多波长的初始声压图像通过输入残差学习子结构进行残差学习，在输入子结构中，主连接中的第一个卷积层会改变张量的通道数，将输入初始声压的波长数目改为32，而在捷径连接中，添加了一个卷积核1×1的卷积层进行相同的通道数目变换，即通过输入子结构将初始图像的通道数目设置为32，具体为：经过输入子结构将多张大小为128×128的图像输出为32张大小为128×128的图像，输入子结构将32张图像输入到顶层层子结构中微调提取特征，顶层层子结构将输出32张图片大小为128×128的图像输出到顶层的扩张子结构和第二层的收缩子结构；收缩路径对图像从顶层到底层依次进行收缩，每一收缩子结构通过收缩残差学习子结构分别对图像分别进行处理，在主连接中图像会先经过最大池化层，图像尺寸减小一半，然后第一个卷积层使得通道数目翻倍，在捷径连接中，一个卷积核1×1的卷积层用来使得通道数目翻倍、图像尺寸减半，收缩子结构将处理后的图像发送到相应层的收缩层子结构微调提取特征，第二层的收缩层子结构相应输出通道数目为64，图片大小为64×64的图像到相应层的扩张子结构以及下一层的收缩子结构，依次类推，底层的收缩子结构输出通道数目为512，图片大小为8×8的图像；扩张路径对图像从底层到顶层依次进行扩张，每一扩张子结构通过扩张残差学习子结构分别对图像分别进行扩张，在主连接中，扩张路径中低一层的输出图像会先被增采成两倍，然后第一个卷积层会让通道数目减半；在第二个卷积层之前，图像会先和收缩路径输出的图像处理后级联，通道数目会再次倍增；经过第二个卷积层后，通道数目会减半恢复；在捷径连接当中，扩张路径低一层的输出会被增采，然后通过一个卷积核为1×的卷积层，通道数目压缩一半；底层层子结构对底层的收缩子结构输出的通道数目为512，大小为8×8的图像微调提取特征输出到上一层的扩张子结构，扩张子结构将图像增采成两倍大小并将通道数目减半后与收缩路径输出的图像级联处理得到大小为16×16，通道数目为256的图像输出到扩张层子结构微调重建图像并输出到上一层的扩张子结构，依次类推，顶层的扩张子结构将顶层层子结构输出的图像和第2层的扩张层子结构输出的图像进行处理得到图片大小为128×128，通道数目为32的图像；输出子结构用于通过输出残差学习子结构对顶层扩张子结构输出的图像进行残差学习，主连接中的第三个卷积层把通道数目从32改为1，使用1×1的卷积核，一个具有同样功能的卷积层也添加到捷径连接当中，输出子结构输出一张图片大小为128×128的定量图像。[0009]本发明由于采取以上技术方案，其具有以下优点：1、本发明提出用于定量光声成像的深度神经网络，即ResU-net，ResU-net使用了残差学习机制，使得网络容易优化，并且可以达到相当的深度，以获得较高的准确率。2、本发明深度神经网络设置的收缩路径和扩张路径使得ResU-net可以从输入的多波长初始声压图像中提取全面的各个分辨率层面的环境信息，并且最终输出高分辨率的定量图像。3、本发明的深度神经网络经过训练之后，ResU-net可以实现快速的图像重建，经试验一副定量图像的重建耗时22.06ms。本发明可以广泛应用于定量光声成像中。
5
CN 108309251 A
说 明 书
3/5页
附图说明
[0010]图1是本发明的深度神经网络框架示意图，D为Dimension(图像大小)的缩写；[0011]图2是本发明以层子结构为例的残差学习子结构示意图。
具体实施方式
[0012]以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。[0013]深度学习(deep learning，DL)在许多领域引起关注，包括医学成像。使用特殊的深度神经(deep neural network，DNN)来表征非线性的映射，通过大的训练数据来调整网络权重，DL可以自动从测量数据中探测特征，并且使用发掘出来的特征预测目标数据或者进行决策。
[0014]卷积神经网络(convolutional neural network，CNN)对图像有优越的处理性能，CNN的神经层可以过滤输入数据并且提取有用信息。U-net是一种全卷积神经网络。U-net由一个收缩路径(捕获环境信息)和一个对称的扩张路径(可以精确定位)组成，U-net的收缩路径和扩张路径使其可以提取全面的不同分辨率下的环境信息，并且最终输出高分辨率目标图像。深度网络可以整合不同水平的特征和目标(分类器或者图像)在一个端到端的多层结构。大量的垛堞神经层使得不同水平下的特征被挖掘出来。然而，太深的网络会带来梯度消失/爆炸的问题并且阻碍收敛。批归一化可以降低内部协变量偏移并且加速收敛。另外，当网络过深的时候会出现训练精度退化的问题，意味着精度饱和了，然后迅速退化。残差学习机制可以解决退化问题，使得网络容易优化，并且实现相当深的网络，获得高精度。[0015]基于上述原理，本发明的基于深度神经网络的定量光声成像方法，将残差学习机制引入到U-net结构当中，构建深度神经网络框架即ResU-net解决QPAI问题，具体过程为：[0016]1、构建深度神经网络框架，即ResU-net，具体构建过程为：[0017]1)如图1所示，构建深度神经网络框架的子结构，每一子结构均通过相应残差学习子结构对输入图像进行残差学习，其中，深度神经网络框架的子结构包括输入子结构、层子结构、收缩子结构、扩张子结构和输出子结构。[0018]如图2所示的层子结构，残差学习子结构用于对图像进行残差学习，残差学习子结构包括主连接和捷径连接。层子结构中的捷径连接起的是恒等映射的作用，捷径连接的输出直接与主连接的输出进行叠加，主连接由卷积层Conv(卷积核3×3)、批归一化层BN和修正线性单元(Rectified Linear Unit，ReLU)作为激发函数。残差学习子结构的具体执行过程为现有技术，在此不再赘述。
[0019]输入子结构通过输入残差学习子结构对多波长的初始声压图像进行处理；[0020]层子结构通过层子残差学习子结构对输入的图像进行调整提取特征，在层子结构中，图像尺寸和通道数量保持不变。
[0021]收缩子结构通过收缩残差学习子结构对输入的图像进行收缩，用于提取不同分辨率下的环境信息。
[0022]扩张子结构通过扩张残差学习子结构对输入的图像进行扩张，用于对不同分辨率下的环境信息进行重建。
6
CN 108309251 A[0023][0024]
说 明 书
4/5页
输出子结构通过输出残差学习子结构对输入的图像进行处理输出定量图像。2)基于深度神经网络框架子结构进行层级结构的逐层构建，获得深度神经网络框
架。
如图1所示，本发明的深度神经网络框架从上到下包括5级层级结构(以此为例，实
际层级结构的级数可以根据实际处理图片尺寸和通道数进行确定)。[0026]层级结构的顶层层级(第1层)结构依次包括输入子结构、顶层层子结构、扩张子结构和输出子结构。
[0027]层级结构的第2层到第4层结构相同，均依次包括收缩子结构、收缩层子结构、扩张子结构和扩张层子结构。
[0028]层级结构的底层层级(第5层)结构依次包括收缩子结构和底层层子结构。[0029]其中，输入子结构、顶层层子结构、收缩子结构以及收缩层子结构构成收缩路径，底层层子结构、扩张子结构、扩张层子结构以及输出子结构构成扩张路径。[0030]输入子结构的输出作为顶层层子结构的输入，顶层层子结构的输出作为本层扩张子结构以及下一层收缩子结构的输入，顶层层级结构的扩张子结构的输出作为输出子结构的输入。第2层到第4层中的收缩子结构的输出对应各层收缩层子结构的输入，收缩层子结构的输出作为相应层的扩张子结构的输入以及下一层收缩子结构的输入；第2层到第4层中扩张子结构的输出对应各层扩张层子结构的输入，底层的收缩子结构的输出作为相应层的扩张层子结构的输入，底层层子结构的输出作为上一层扩张子结构的输入，依次类推，直到第二层的扩张层子结构输出作为顶层的扩张子结构的输入。[0031]2、采用不同波长下的输入初始声压(式1)图像和相应的定量图像用来训练ResU-net，训练时，采用均方误差作为损失函数，采用tensorflow中的Adam算法求解网络参数，训练过程为现有技术，在此不再赘述。其中，初始声压po(r)：[0032]po(r)＝ΓH(r) (1)[0033]其中，po是初始声压，Γ是Grüneisen参数(假设是常数)，能量沉积密度H(r)＝μα(r)Φ(r)，μα(r)是光吸收系数，Φ(r)是光通量，r为空间位置。[0034]经过训练之后，ResU-net可以实现快速的图像重建，本发明的实施例每次迭代使用16个样本，总迭代次数是24000次，训练时间大约是3h，使用英伟达泰坦显卡的GPU(12GB)，经过训练之后，一次定量图像的重建仅需要22.06ms。[0035]3、对多波长的初始声压图像采用训练后的ResU-net进行定量光声成像，输出定量图像，具体过程为：[0036]如图1所示，输入子结构将输入的多波长的初始声压图像通过输入残差学习子结构进行残差学习。在输入子结构中，主连接中的第一个卷积层会改变张量的通道数，将输入初始声压的波长数目改为32，而在捷径连接中，添加了一个卷积层(卷积核1×1)进行相同的通道数目变换，即通过输入子结构将初始图像的通道数目设置为32，具体为：经过输入子结构将多张大小为128×128的图像输出为32张大小为128×128的图像，输入子结构将32张图像输入到顶层层子结构中微调提取特征，顶层层子结构将输出32张图片大小为128×128的图像输出到顶层的扩张子结构和第二层的收缩子结构。[0037]收缩路径对图像从顶层到底层依次进行收缩，每一收缩子结构通过收缩残差学习子结构分别对图像分别进行处理，在主连接中图像会先经过最大池化层，图像尺寸减小一
[0025]
7
CN 108309251 A
说 明 书
5/5页
半，然后第一个卷积层使得通道数目翻倍，在捷径连接中，一个卷积层(卷积核1×1)用来使得通道数目翻倍、图像尺寸减半(卷积步长2)，收缩子结构将处理后的图像发送到相应层的收缩层子结构微调提取特征，第二层的收缩层子结构相应输出通道数目为64，图片大小为64×64的图像到相应层的扩张子结构以及下一层的收缩子结构，依次类推，底层的收缩子结构输出通道数目为512，图片大小为8×8的图像。
[0038]扩张路径对图像从底层到顶层依次进行扩张，每一扩张子结构通过扩张残差学习子结构分别对图像分别进行扩张，在主连接中，扩张路径中低一层的输出图像会先被增采成两倍，然后第一个卷积层会让通道数目减半。在第二个卷积层之前，图像会先和收缩路径输出的图像处理后级联，通道数目会再次倍增。经过第二个卷积层后，通道数目会减半恢复。在捷径连接当中，扩张路径低一层的输出会被增采，然后通过一个卷积核为1×1的卷积层，通道数目压缩一半。底层层子结构对底层的收缩子结构输出的通道数目为512，大小为8×8的图像微调提取特征输出到上一层的扩张子结构，扩张子结构将图像增采成两倍大小并将通道数目减半后与收缩路径输出的图像级联处理得到大小为16×16，通道数目为256的图像输出到扩张层子结构微调重建图像并输出到上一层的扩张子结构，依次类推，顶层的扩张子结构将顶层层子结构输出的图像和第2层的扩张层子结构输出的图像进行处理得到图片大小为128×128，通道数目为32的图像。
[0039]输出子结构用于通过输出残差学习子结构对顶层扩张子结构输出的图像进行残差学习，主连接中的第三个卷积层把通道数目从32改为1，使用1×1的卷积核，一个具有同样功能的卷积层也添加到捷径连接当中，输出子结构输出一张图片大小为128×128的高分辨率的定量图像。
[0040]上述各实施例仅用于说明本发明，其中方法的实施步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。
8
CN 108309251 A
说 明 书 附 图
1/1页
图1
图2
9
因篇幅问题不能全部显示，请点此查看更多更全内容