显微图像分析的深度学习

在这次采访中，AZoM采访了MIPAR Image Analysis的首席执行官兼联合创始人John Sosa博士，讨论了显微分析和深度学习。

您如何看待深度学习和自动化改变并改善显微照片分析？

大约在去年7月，我们在MIPAR中引入了深度学习，它对我们可以通过软件触及的问题类型以及日常用户对这些解决方案的可访问性产生了深刻的影响。

我们已经意识到，在世界各地的许多实验室和设施中，有目前的定量微观结构的方法，其中许多涉及手动组件。有时它们是纯粹的手动。

我们看到的是深度学习使我们存档,手动带注释的微观结构,或允许用户继续手动过程更长时间,然后能输入和发展智能自动化解决方案,快速的工作,取代他们的手工方法。

这是在接近挑战性的自动化方面的实际转变，特别是在MIPAR中。

向深度学习驱动的自动化系统发展会带来哪些挑战?

询问是否在一天结束，自动化或实现自动化的尝试返回显着的价值与花时间用手返回显着的价值，这通常是合适的。自动化的巨大潜力对于每个人来说，从数量级和时间降低到用户可变性的减少，以及获得可以用手可以获得更复杂的测量的能力。

理想情况下,您将工作在早期开发一个自动化的方法解决重复性任务或项目,最初的工作后,你会完美的自动化,将不再需要做乏味的任务了,可以转移到别的东西。

然而，在现实中，无论是编写我们的图像处理脚本，还是试图在商业产品中组装一个管道，你开始有了一个良好的开端，然后很快意识到它不是那么简单;有许多需要的迭代，有不可预见的挑战，您最终会迷失在自动化的追求中，并且没有时间去完成您试图自动化的任务。

在MIPAR软件公司，我们对此非常敏感。我们知道，许多真正的问题很难克服激活障碍，需要花费时间来自动化流程，并意识到手动操作可以更快地完成流程。

如何克服关于自动化省节省时间潜力的特殊问题？

当我们考虑自动化而不是当前的手动或半自动方法时，我们意识到了它的好处:我们得到了巨大的速度改进，更客观的方法来解决问题，这与减少用户对用户的偏见相匹配，并且，随着时间的推移，我们的结果往往更加可追溯、可审计和可防御。

但是，如果在尝试开发自动化解决方案时不符合这三项要求，则会难以实现这些益处。几乎总是我们需要一种在自动意义上的解决方案，这在我们手边做的更准确或更好。该解决方案不能只为一个图像或一个条件工作。
它必须至少处理合理的照明曝光和样品准备变化，并且不能要求计算机科学专家将解决方案放在一起并保持它。欧洲杯线上买球它必须是历史上样本的表征样本的人可以进入可以在整个组织中使用的解决方案。

从历史上看，即使在出现更多的图形处理应用程序之前，我们也是为每个问题编写代码，并且在许多情况下仍然是这种方法。如果我们考虑一下是一个非常基本的两个轴的曲线，那里有一个解决方案，这些解决方案范围根据需要大量的经验到x轴上的非常少的经验，并且一个对y非常强大的一个不强大的体验-AXIS，将许多硬编码解决方案放在这样的区域中是合理的。

它们需要丰富的专业知识来开发和操作，并且通常都是通过硬编码的设置和阈值以及其他特性紧密地针对特定问题进行调整，这些特性使得它们相当不灵活，或者至少非常难以适应不同的条件。

MIPAR如何在编码特定条件下帮助这种复杂性和不灵活性？

多年来，我们通过MIPAR能够实现的是进入一个领域，在这个领域中，菜谱以图形方式构建，具有非常交互性和无限可调的算法，不需要开发代码，可以减少学习曲线，减少构建和操作所需的经验，通常能够使我们得到一个更健壮的解决方案。这一切都是可能的，因为交互性和添加许多步骤的能力，可以非常迅速地适应不同的条件。

比较不同方法对图像分析算法开发的相对易用性和鲁棒性的原理图。

对于更简单的解决方案，这通常工作得很好。由于它们更简单，因此构建它们所需的经验甚至更少，而且由于存在更简单的问题，因此解决方案不需要非常健壮。所以，达到稳健量表的中间位置是完全可以接受的。然而，许多常见的现实世界问题仍然不在这个解决方案范围内，在这个范围内，您需要显著的健壮性，而且对于一般用户来说，要有效地自动化这些问题实在是太困难了。

这是我们感受到深刻的学习的地方。这是一个真正的特权，在这个时候我们已经看到这种罕见的突破技术，你最终与你一起使用的东西，允许你开发更复杂的解决方案，同时也需要更少的经验。这是一个非常理想主义的情景，但我们通过我们部署了它，这是非常可能的。

您是否可以了解使用MIPAR进行深度学习培训的深入了解吗？

从拖动参考图像开始。如果需要的话，用户可以直接在培训应用程序中进行跟踪，添加图层，使用钢笔工具开始跟踪。一旦完成了边界跟踪，至少需要两门课来进行深度学习训练。
有一个方便的工具，可以让你采取所有的跟踪。如果用户只做了一个类，他们想训练它和它的逆，那么他们可以添加所有层的逆。当这些完成后，就可以进行培训了。

一个特别有用的设置允许用户将图像分割成几个子字段。我们发现，这不仅在训练时减少了记忆需求，而且产生了更好的结果，因为深度学习训练往往对图像相当饥渴，尽管我们在只有3到5张图像的情况下得到了很好的结果。
需要选择图像的大小因子;这只是一定程度的下采样，这样做是为了提高性能和减少内存负载。接下来，用户需要选择处理器。

对于深度学习训练，强烈推荐使用GPU。在CPU上训练是可能的，你也可以在CPU上应用，但是为了训练和应用，GPU的加速通常是你在CPU上得到的8到10倍。对于培训来说，在CPU上需要花费一整天的时间，而在GPU上一个小时就可以完成，而在应用上，在CPU上应用模型可能需要10秒，而在GPU上则需要1秒。

一旦训练开始，图像将被分解成小块，并给出一个ETA。

在历史上，识别重孪晶结构中的晶界一直是一个挑战，而EBSD已被用于实现这一目标。在这个特定的应用程序中还会出现哪些其他挑战?

识别晶界但忽略重孪晶结构中的孪晶是我们遇到的最具挑战性的晶界识别案例之一，在这种情况下，发现孪晶比找到晶界更容易。

你有一个非常强烈的依赖局部模式差异告诉你的大脑何时从一粒到另一粒。如果你是经验丰富的在看这种类型的组织,你可以认识到晶界,但你必须做一些心理体操在幕后和拼凑的条纹特征为典型的粒形之前,你的大脑认识到它是观察整个粮食。在深度学习之前，我们已经尝试了各种各样的方法，但我们从未接近让软件去做我们大脑正在做的事情。

历史上，这是纯手工完成的。为了寻找平均粒度，用户将放置一组随机的线，计数截取的数据，然后通过这种方式得到平均大小。我们有客户需要一个全尺寸分布,即使使用EBSD更无人值守,涉及的时间成本和样品准备挑战让他们坐下来,用手跟踪所有的边界,这样他们可以得到一个完整的grain-per-grain粒度分布测量。

其他挑战包括某些地区的对比度和极具挑战性的局部形态学变化，以及大脑正在挑选的东西，以区分这些谷物，我们必须教导电脑。

与以前最先进的软件相比，MIPAR深度学习如何?

在与以前的客户的工作中，我们使用了没有down采样的5 × 5网格和500个epoch。训练大约需要30分钟。在深度学习之前，我们对MIPAR所能做的最好的工作是结合边缘寻找过滤器、伪影抑制，并试图将一些孪生粒子吸收到它们的父粒子中，如果它们很长或不长。

但是，我们无法比这更好的东西，在那里你可以相当好地找到所有的边界。我们希望只发现谷物边界，并非所有的各种双界。好的，老实说，我从未想过我会看到一个像这样的问题的自动化解决方案。

MIPAR在检测各种边界和忽略孪生边界方面做了出色的工作，当我们第一次看到它时，它让我们大吃一惊。图像边缘上的颗粒是与边缘接触的颗粒，因此不用于测量。这就是边缘粒和饱满粒的分类。你可以看到平均直径弹出，因为它是食谱的一部分。

双黄铜晶粒的自动深度学习检测。

可能需要进行一些小的修改，如果配方是为这些更改设置的，则可以进行这些编辑。例如，为了填充边界，用户可以快速进行编辑，MIPAR将为您清除这些编辑。用户可以简单地画一条线，它将填充并清除边缘。

如果存在错误的边界，用户可以拍摄擦除工具，将其交叉，它会消失。如果用户发现自己经常这样做，他们可以采用这些更正的结果并与它们更新模型，并用这些校正重写，以便算法从这些校正中学习。

因此，这是生成一些测量和处理单个图像。批处理怎么样？这概述了如何在其他培训图像上表现如何，而是那个不是培训集的一部分？

当需要进行批处理时，我们发现MIPAR可以很容易地将训练中使用的图像制作的配方应用于不属于训练过程的图像。一旦生成了数据，有时用户会认为他们必须将字段缝合在一起，以便收集足够的数据区域或遵守一个标准。

这通常意味着它们最终有一个笨重的缝合图像，有时缝合在边界上并不完善，只要它们可以将数据从那些字段收集到一个分发中，它们所需的所有字段都是一系列的。使用MIPAR，测量功能工具可用于从尺寸面板中选择直径测量，并通过击中视图测量，该软件仅测量完整的谷物。

它将测量每个字段，将所有谷物组分组到一个表中，然后用户可以将所有字段的晶粒大小分布绘制到具有单个平均值和其他统计数据的单个曲线中。然后，用户可以从此数据中生成报告，单击“打印”，然后获取将存储在后处理器和其余结果中的代表性图像。

重要的是要记住，引擎只会学习它所提供的东西，所以我们建议用户显示极端情况，如果他们有非常不同的微结构情况，不同的照明条件，或不同的准备条件。重要的是要确保它意识到它可以看到的潜在变化。

MIPAR软件现在能够比以前的最先进的软件更容易识别，最复杂的测量类型是什么？

添加应用程序，如识别和测量熔池，包含了我刚才描述的许多相同的挑战:复杂的，通常微妙定义的特性，软件可能很难识别。我们可以增加测量挑战的复杂性，这涉及到估计相邻池之间的重叠程度。

例如,我们之前做过这个在过去没有任何注释,即熔化池的大小是由画几行声带通过主要和平均得到一个估计的尺寸,轴和重叠并不是合理的自特定的客户寻找一个空中重叠。由于种种原因，猜测池子的去向是不切实际的。

为了处理这个注释，我们使用了一个半自动化的方法。我们可以通过不需要深度学习的传统食谱非常接近准确的选择。我们通常可以自动找到80%到90%的特征，然后帮助清除错误，从而得到我们将要用于训练的内容。

这就是我们在这个例子中所做的。通过拖入使用的半自动设置配方，该软件尽其所能在深度学习之前找到最先进的边界，然后为我们提供手动编辑干预步骤。

随着一些额外的清洁，您留下了一些用于训练的东西，而不是纯粹用手追踪所有这些功能。在此之后，可以像以前一样培训以产生模型。

现在，对于每一个经过训练的类，用户将得到一个概率图，显示哪些像素最有可能属于一个选定的类。你可以把它看作是计算机对分割的预测。但是，我们在MIPAR中倾向于做的仍然是允许您灵活地将其转换为最终的、最准确的结果，并添加额外的变量以适应您的特定问题。可能是用户想要为熔体池设置一个最小的大小，或者忽略那些触及边缘的。典型的方法是接受概率图，然后添加一些额外的步骤，将其微调到最终的分割中。

为一个先进的测量,用户可以加载在第二个食谱,不仅建立了熔池检测但工作流,以允许用户选择一个熔池,它反映在其中心轴,所以估计是重叠相邻熔池,可以估计。例如，一个特定的用户想要一个交互式工作流，允许用户抽查特定的熔体池，并对其重叠部分进行估计。

熔池检测完成后，用户会看到一个互动窗口，他们可以简单地点击想要测量的熔池。这将估计它的对称轴,镜像对称的熔化池的右边,轴,然后计算其交集区域与周边熔池,然后测量面积重叠的比例估计整个熔池形状。这是一个特定的度量设置示例，但是MIPAR可以针对这种需要进行配置，而无需进行任何编码，这正是它擅长的。

在橡木制造部件中自动深入学习熔池界限检测。

结果提供了一个重建的水池，估计出它可能继续的地方，然后一个边界将可见的部分和不可见的部分分隔开来，然后会有一个重叠百分比的读数，然后是整个水池特征的估计尺寸。

我们已经与一些人进行了讨论，他们已经正确地指出，镜子的对称性在物理上可能不是理想的，因为可能存在一种液体粉末的相互作用，或者一种更基于物理的方法来估计池子的隐藏部分。我们正在研究如何将其融入其中。

您能否举例说明MIPAR如何显著减少用户处理样本和生成度量值所需的时间?

一个示例看到我们的团队为非常强烈重叠的图像配置了非常定制的测量工作流程。由深度学习提供动力，精确检测到特征。我们的团队与此客户合作不到一小时，以配置此解决方案并为其使用提供。

这是一个殖民地与basketweave的案例，体现了许多相同的挑战，比如需要准确地找到复杂的现实世界的功能来实现自动化。在这种情况下，现有的方法是点数计算。手动列出所有内容实在是太让人受不了了。这将花费大约10分钟的时间来计算一个图像，每个样本有大约50个视野。

这个特定的用户每天花8个小时来处理他们的样本。用计数法，你让另外三个人坐下来让他们数相同的网格点，他们可能会对其中一些进行稍微不同的分类因为在形态上殖民地或有组织的殖民地和混乱的编织物之间有一个连续体。这意味着两三个人可能会对同一点提出不同的名称。

在这种特殊情况下，追踪的方法是一个快速而简单的方法，用户只需要标出不同形态的一些斑块，软件就可以从中学习并处理图像的其余部分。

在这种情况下，不是完整地概述所有感兴趣的特性，也不是半自动化的方法，这种培训是通过简单地分配一些类来设置的。他们的图像被分成了一个3乘3的平铺图，大小约为3k乘2k的图像。Downsampling能够加速性能，并且仍然给我们足够的像素来工作。

重要的是要提及用户可以随时停止培训，并且该软件仍将保留在培训过程中的位置。这可以是用这些时期测试饱和点的方法，你有时可以在仅仅100时代后获得训练有素的结果，而且不必坐下来等待完整的500，因为该过程可以在它之前停止并重新启动达到100％。截止点确实随着所使用的图像数量和正在接受训练的微观结构的类型而变化。

在这种特殊情况下，训练后产生的是殖民地和篮网的全部分割。当作为批处理的一部分运行时，每张图像需要大约两秒钟，这意味着它能够将该用户每天8小时减少到每次样本约2个半分钟的八小时。

对于希望通过深度学习从手工处理过渡到自动化的用户，您将如何总结MIPAR的主要好处?

我所描述的每一个案例都代表了社区在自动化领域多年来所面临的真正挑战。他们都代表的情况下,研究人员可以采取的方法和他们做什么,手工教学软件如何解释微观结构,但是现在有人工注释结转和开发一个自动化的解决方案,可以从那里接管。

在双晶粒的情况下，用户能够避免EBSD进行全自动分布测量，每年节省显微镜成本50万到60万之间。除了在熔池分析中节省数量级的时间外，自动化还为重叠估计提供了一个全新的机会，这是纯手工分析无法支持的。要求用户每天8小时的编织物情况被减少到两分半钟，用户的主观性更少。

钛中自动化深度学习检测落区和篮织物形态。

这些例子只是我们处理的数百个应用程序中的三个应用程序，我们已经看到了我们的用户用Mipar处理。但是，他们的挑战在跨应用程序中相当一致，体现了我们在真实的微观结构分析中所看到的很多。
MIPAR是一种非常强大的技术，可以通过手动标记图像，允许从冶金师和显微镜手中掌握这么长时间的专家输入，然后允许深入学习培训引擎从那里接管并自动化曾经是不可能的问题。

MIPAR团队如何在整个项目中支持其用户?

我们的团队努力工作，从早期评估阶段到长期客户关系阶段，都得到了专家的支持。它通常始于一组旨在满足用户即时需求的初始解决方案，但通常随着新项目的出现，它们可能需要额外的解决方案，我们将继续可用。

该软件可以由我们的用户配置为您的用户。这取决于您的内部供货情况和理想的工作流程。您是否愿意接受我们的自学习课程对产品或从我们团队获得专家培训更加舒适，那么希望与平台更自行的用户肯定可用。但是，如果他们是希望将我们的专家有关未来开发更多解决方案的用户，那么这也是一个完全可接受的模型。

我们的读者可以在哪里找到更多？

如果您想了解这些解决方案和技术是否适合您的应用程序，请查看我们的应用程序和深度学习我们网站上的页面。我们也有90秒的简短旅游视频值得一看。读者也可以提交一个图像通过我们的网站，它将直接进入我们的应用专家团队，有人会与他们联系，以更详细地讨论MIPAR是否适合。您的读者也可以直接向我们发送电子邮件[电子邮件受保护]，或给我们一个电话。

关于John Sosa博士

John Sosa博士是MIPAR Software的首席执行官和联合创始人。他获得了俄亥俄州立大学材料科学与工程博士学位，同时专注于钛合金的2D欧洲杯线上买球和3D微观结构表征。