反褶积是一种计算技术，以提高分辨率和信噪比(信噪比)捕获的成像系统。它的使用早在共聚焦显微镜广泛使用之前就已经存在，但由于当时缺乏计算能力，它的应用并不普遍。今天的计算能力，特别是图形处理单元(gpu)的大规模并行化，已经打破了几乎所有的进入壁垒，所以配备了合适的图形卡的桌面pc可以几乎实时地实现反卷积。这篇文章介绍了反褶积的概念，作为一个日常成像工具，应该例行应用于所有图像捕获在显微镜系统。
Fusion是来自Andor的最新显微成像软件，提供了一个名为ClearView-GPU™的可选反卷积模块。这使得用户能够同时执行反褶积和数据采集，在屏幕上提供了原始数据集和反褶积数据集的快速可视化，简化了用户的工作流程。ClearView-GPU™还包括一个预览模式，它可以对一系列反卷积处理选项的效果进行即时反馈，并提供对结果的控制。
Andor ClearView-GPU™的关键功能
- 准确的- 加速Gibson-Lanni算法，用于精确PSF估计，在深度标本中支持球面像差校正
- 强大的- gpu加速增强理查森-露西，詹森-范- Cittert和逆滤波算法
- 定量- “节能”匹配原始数据和结果的总光子含量
- 极快-优化CUDA工作流程，提高性能
- 融合的- 与“实时”感觉或在存储的数据上运行的收购结合
- shar-更好的光学切片和增强对比，即使在深标本
- 创新的- Richardson-Lucy迭代加速，在更少的周期内采用梯度驱动的收敛
图像形成
图像形成是一个物体的图像被光学系统投射到一个观察或探测平面上的过程:图像是光子的空间分布，用来表示从感兴趣的物体发出、反射或传输的光的分布。“卷积”运算从数学上描述了图像的形成;在卷积中，从物体采集到的光的空间分布与仪器点扩散函数(PSF)进行卷积。PSF被认为是物理成像系统的一个基本属性，它限制了空间分辨率。然而，计算机辅助成像可以利用反褶积处理等方法跨越这一物理极限。PSF的形状受到衍射的限制，通常是在仪器的瞳孔平面。随着PSF变窄，空间分辨率增大，光学系统的(数值)孔径变大。卷积可以看作是PSF对模糊的数学描述，而在反卷积中寻求的正是这种模糊。
就荧光显微镜而言，信噪比和分辨率限制了系统分辨物体的能力。以下几种方式可能会影响图像中的对象:
- 如果物体的荧光强度太靠近检测系统的样本或噪声底板的背景强度，则它将不可见
- 如果两个物体之间的距离小于系统的分辨能力，它们就会作为一个物体出现
- 如果一个物体小于系统的分辨率，那么它看起来至少与系统的分辨率限制一样大
在下面的部分中，为了支持更直观的理解，反褶积将在数学上进行描述，然后可视化。傅里叶变换(FT)是反褶积所依赖的一种重要的数学关系。FT是一种通过一组或多组替代函数来描述分布(通常是时间或空间分布)的方法。为了转换为傅里叶变换，需要计算一组描述原始函数的空间频率的相位和幅值。结果是在不同的空间频率上的一组正弦和余弦对，每对都有一个振幅或强度常数。
这个重要函数的计算经过了许多代的改进，现在使用GPU的能力，它可以非常快速地计算。证明了当分布用其FT表示时，空间分布的卷积用乘法表示，而反卷积用除法表示。这大大简化了计算。然而，这种简单的关系只适用于理想的无噪声情况。对于真实的成像情况，噪声使这变得更加困难，然后必须使用迭代技术。
这里，示出了简单的情况，其中可以认为由检测器接收的图像由光点的集合形成，每个光点都与PSF卷积。作为可视示例，可以考虑以下对象的测试模式（图1）。
图1所示。由成像系统成像的真实物体的一个例子。
一旦光通过系统的光学器件并被检测器接收，它已经被卷积或模糊，以便对象显示如图2所示。
图2。成像系统如何扭曲或旋转对象的示例。
图3和图4显示了模糊函数或点扩散函数，分别显示了3D视图和2D投影。图4中的环称为艾里环，是具有圆形孔径的成像系统的特征。在这里，透射能量的70%被封闭在中心亮点中，这个亮点的范围称为一个Airy单位，对应1.22*波长/NA，其中波长为发射波长，NA为光学成像系统的极限孔径。
图3。单点的失真，或点扩展功能（PSF）。在这里显示3D。
图4。二维的PSF显示了一系列环-称为“艾里模式”-在其中心有一个“艾里盘”。
由于已知图像通过成像系统时与PSF卷积的方式，因此可以应用这个逆过程来对图像进行反卷积并恢复信号和分辨率。
图5。简化解释图像卷积及其反卷积，反卷积重建原始对象。请注意，FT表示傅里叶变换，它允许我们在无噪声的情况下，用乘法代替卷积，用除法代替反卷积。因此，在顶部，我们看到图像形成过程，以简化的形式，下面是图像恢复或反褶积过程。
奈奎斯特抽样
在20年初th世纪，在数字电子产品的出现期间，哈里奈奎斯特（和各种其他人）意识到，为了准确地代表连续系列的离散（或数字）方式的连续（或模拟）系列，持续系列的录音或表示至少是频率的两倍。以至少40kHz（通常使用44.1kHz或更大）的频率将音频记录为数字格式，是这种现象的日常例子。这是由于人类听觉系统（模拟记录设备）通常不能检测到20kHz以上的频率。如果音频记录在40 kHz以下，则高频高音声音将丢失或更差，别名为较低，杂散的频率。记录频率越低，它会听起来更糟。这可以表示如下：
图6。在采样连续信号下。
红线表示要记录为数字信号的连续系列。黑点是记录的频率。因此，虚线是信号的数字表示。它与原始系列显然是不同的！
这种情况的视觉示例是在低分辨率下捕获或调整大小的图像中观察到的Moiré模式：
图7。左边的图像没有获得足够的分辨率，显示了人工痕迹。
在荧光显微镜上进行三维成像的情况下，需要适当设置图像大小(或者更严格地说，像素大小)和步长(Z)。
横向(XY)分辨率的极限可由著名的Abbe方程确定:
例如，使用525nm光和高NA物镜，例如1.4油，这是188nm。
奈奎斯特采样定理表明，数字采样至少应该是该频率的两倍(或距离的一半)，或者像素大小(在像面上)不应该大于94 nm。如果使用100倍的总放大倍数(c挂架和物镜)，这相当于相机上的9.4µm像素。
轴向(Z)分辨率的极限公式如下:
其中η是介质的折射率。
使用与之前的相同的例子和1.518作为折射率，这是813 nm。
Nyquist采样定理表明，z步长应不大于0.4µm或406.5 nm。
笔记：反褶积处理提供的信息越多，最终图像的分辨率和信噪比就越好。
对于可能对漂白和/或光毒性敏感的样品，应在通常的成像限制范围内使用最小的像素大小和最小的实际z步长。
来自Andor的融合软件包括用于在协议偏好中增加Z堆栈的采样的选项，并为用户提供增加蜻蜓系统的放大镜（ES）的选项：
图8。严格的奈奎斯特选择在融合软件。
图9。用蜻蜓系统的2倍镜头。
ClearView-GPU™:Fusion的反卷积模块
图像处理部分包含Andor的ClearView-GPU™模块。
如果一个cuda兼容的GPU和驱动被发现，GPU兼容图标将显示绿色，反卷积处理将比在CPU上做的处理快50倍。Fusion软件支持这两个选项。
另外，它包括用于预览图像的区域的选项以实现结果的即时反馈，使用户能够在将它们应用于整个数据集之前调整处理设置并查看其效果。
图10。融合的反卷积模块在图像处理标签。
图11。预览允许一个小区域立即被解卷积。
算法和点传播功能
ClearView-GPU™有三种处理算法：强大，快速，最快。每个表示图像质量和处理时间之间的平衡。
- 鲁棒是一种迭代极大似然估计，能给出最好的结果，并且能抵抗图像中的噪声
- Fast也是一种迭代方法，它使用Van Cittert方法来减少处理时间，与Robust相比，通常是前者的两倍。
- Fast是一种非迭代的方法，它使用了一个逆(维纳)滤波器来进一步减少处理时间，通常是Fast的两倍
在所有情况下，数据集分为块以进行GPU处理（由GPU处理内存限制设置在融合中的偏好区域的渲染菜单中）。这意味着可以解压缩的数据集大小没有限制;但是，更多GPU存储器导致更快的处理时间。
ClearView-GPU™包括五个PSF模型。所有模型都使用了一个快速积分器来加速Gibson-Lanni算法，用于估计具有像差的鲁棒3D PSF。这是目前可用于PSF估计的最佳算法。
- 宽视野荧光
- 旋转磁盘共焦
- Brightfield
- TIRF
- 激光扫描共焦
高级设置
默认设置已经被仔细选择，以确保为大多数图像提供最好的结果。如果用户希望调整这些设置，他们可以在反褶积设置部分这样做。建议在预览模式下进行这些设置，以获得设置效果的即时更新。
图12。融合的反卷积模块在图像处理标签。
尽管这超出了本文的范围提供了一个全面的解释,最低强度删除相关用户应该禁用该设置如果他们希望保持“节能”,确保原来的光子(像素)数量和加工数据集是相同的差异(< 1%)。
结果
表格1。反褶积前后蜻蜓成像在40 μm针孔宽视场和共聚焦成像中的性能比较。测量用MetroloJ imageJ插件进行PSF分析。采用Zyla 4.2 +， 1X相机变焦，尼康60X/1.4平面apo油透镜，在488 nm激光激励下对100 nm荧光珠进行成像，Z步长为0.1 μm。半宽半宽是一种标准的分辨率测量方法，即沿直线轮廓的半最大强度下的全宽。
| PSF测量 |
WF |
WF +解构 |
迪弗莱40 |
dfly 40 +解构 |
| 横向应用(nm) |
245. |
185 |
238. |
139. |
| 横向(XY)投影 |
 |
 |
 |
 |
| ． |
． |
． |
． |
． |
| 轴向（Z）投影 |
 |
 |
 |
 |
图13。100 nm珠的轴向通序列(归一化)强度分布在广角和共焦两种情况下均表现出反褶积后的信噪比增加，半宽比减小(分辨率增加)。
图14A。显示在去卷积之前和之后的雏菊花粉颗粒的完整现场图像，合并通道被视为最大强度投影图像。请注意Deconvolved图像中的对比度和细节增强。因为这是一个鲜艳的鲁棒标本，我们可以将曝光时间延长至250毫秒，实现高SNR以恢复降卷积的高空间频率。因此，我们可以超过共聚焦成像中的ABBE衍射极限。但样本的密度也是光学切片的挑战，如在C，在C的单一光学部分的朦胧中证明了488和561个通道的雏菊最大强度投影在融合之前和561个通道中，用488和488的蜻蜓成像成像。561激光激发。Zyla 4.2 Plus与1x摄像头变焦和Leica 100x / 1.44油透镜一起使用。突出显示的区域如下所示。
图14B。(见上图)。从上面的A图像中显示了完整分辨率的细节。提高了花粉粒的表面清晰度，提高了花粉粒的锐度和分辨率。图14c(下图)为双通道雏菊花粉Z系列单光学切片。ClearView-GPU增强了对比度，锐化了光学切片，并在这个又厚又亮的标本中提供了清晰的通道分离。花粉粒壁内的细微结构清晰可见。这些点状特征在反褶积后的150 ~ 200 nm半宽范围内。秤杆是2μm。
图15。用一个40µm的针孔在蜻蜓上捕捉盐水虾尾。目标是63 x1.4。相机是Zyla 4.2 Plus sCMOS与额外的1.5倍放大镜头蜻蜓。图16中显示的ClearView-GPU™反卷积前后的高亮区域
图16。共聚焦（左上角）;Deconvolved（右上角）和线型材（底部），显示SNR和横向分辨率的增加。注意沿着共聚焦图像中的线轮廓的雾度在去卷积后明确地分离为四个不同的物体。
速度比较
Andor ClearView-GPU™旨在保证最大可能数据集的最高速度和功能。
使用相同的硬件和尽可能相似的设置，ClearView-GPU™已经被证明比其他领先的gpu加速包快10倍，比基于cpu的方法快50倍，特别是对于较大的数据集，即使在迭代加速被禁用的情况下。
图17。共聚焦（左上角）;Deconvolved（右上角）和线型材（底部），显示SNR和横向分辨率的增加。注意沿着共聚焦图像中的线轮廓的雾度在去卷积后明确地分离为四个不同的物体。
应用实例
除了如上所述的解卷积的明显视觉效益外，更强大的优势是如何通过对研究人员提供广泛的可用工具来提高准确分析图像的能力。对目标元素的最空间保守的数据（最高对比度和最明显的边界）是对实现最准确的分析来实现最精确的分析，或者是一个简单的点对点测量，或者更先进的亚细胞结构的自动检测可能随着时间的推移跟踪它。
囊泡跟踪(下图18)是一个很好的工作例子，例如用于癌症研究的自噬模型。囊泡的大小在一微米或更小的范围内，可以小于光学系统的纯分辨率没有反褶积。此外，他们可以密集的人口，也可以快速移动在三维体积。反卷积可以极大地提高检测单个囊泡的能力，并允许专用软件分析模块(例如Imaris LineageTracker)自动检测和分析它们的参数，如方向、数量、移动距离和运动速度(图19)。
图18。使用蜻蜓共焦模式（A，C＆E）和ClearView-Gputm Deconvolution（B，D＆F）进行标记囊泡的样本与标记囊泡的比较。C和D分别显示A和B的缩放区域，并且在那些区域内，与原始共焦图像（C）相比，在解压缩图像（D）中，囊泡的簇更清楚地看到。E和F是正交（x，z）视图，其示出了较小的直径曲线，由于从每个囊泡省略的光重新分配回到其来源而省略的光线较高的对比度。
讨论
本文展示了ClearView-GPU™反褶积如何在所有三个维度上提高分辨率，在某些情况下超过了阿贝极限。它还提高了所有成像模式的信噪比。以前不能区分的特征变得清晰。
考虑到现代GPU的力量和最新工作站上的存储空间，Andor的ClearView-GPU™Deconvolution可以从成像系统应用于每个数据集。
使用Andor的ClearView-GPU™和融合软件，如果需要，Deconvolution可能与图像采集并行发生或作为后处理步骤进行。
由于除了使用高级设置，可以在不替换而不是更换的情况下生产的解码数据而不是更换的原始数据，并且如果使用高级设置确保节能，则可以在定量研究中应用。
来源和进一步阅读
此信息已采购，审查和调整Andor Technology Ltd.提供的材料。欧洲杯足球竞彩
欲了解更多信息，请访问安多士科技有限公司