"什么是噪声感知训练方法（NAT）？探索谷歌AI研究人员的布局感知语言模型"

随着业务流程中视觉丰富的文档（VRDs）的广泛应用，高效信息提取（IE）的需求变得越来越关键。VRDs通常以不同的布局和格式呈现，因此自动从这些文档中提取相关数据可以显著减少解析所需的手动工作量。但是，实现VRDs的IE的通用解决方案面临着重大挑战，因为它需要理解文档的文本和视觉特性，这些特性无法轻松地从其他来源中获取。谷歌AI的研究者提出的半监督持续训练方法为解决这一难题带来了一定的思路。 一般情况下，从VRDs提取信息需要使用监督学习的方式，以多个人工标记的样本进行训练，但是标记高度准确的VRDs是一项耗时且昂贵的工作，构成了企业场景中的瓶颈，必须为成千上万种文档类型训练定制提取器。针对这种情况，研究人员转向预训练策略，利用无监督多模态目标在未标记实例上训练抽取器模型，然后在人工标记的样本上进行微调。然而，这种方法经常需要大量的时间和计算资源，使其在受限制的训练时间内变得不切实际。 作为应对这一挑战的策略，谷歌AI的研究团队提出了一种半监督的持续训练方法，以在有限的人工标记样本和有限的训练时间内训练出稳健的抽取器。他们提出了一种噪声感知训练方法（NAT）。同时，他们的方法还需要遵守对训练施加的时间约束。他们的方法从功能上可以分为三个阶段，利用标记和未标记的数据来徐徐提高抽取器的性能。 该研究的重点是推进文档处理领域的发展，特别是在企业环境中可扩展性和效率方面。该方法的目标是尽可能减少为训练定制提取器所需的人工工作量和资源，并使普通用户能够访问先进的文档处理功能。随着半监督持续训练方法带来的一系列好处及其在有限的时间和空间约束下的表现，该方法有望显著提高企业环境中文档处理工作流的效率和可扩展性，进而提高生产率并降低运营成本。

研究方法

谷歌AI的研究团队提出了一种半监督持续训练方法，以在有限的人工标记样本和有限的训练时间内训练出稳健的抽取器，该方法称为噪声感知训练方法（NAT）。

该方法由三个阶段组成，分别是：无监督预训练阶段、有监督预训练阶段和持续训练阶段。

在第一阶段中，他们使用无标记数据集通过多模态对齐的目标进行自编码器预训练。这可以帮助模型学习数据特征，从而减少可能出现的过拟合。在训练完成后，语境感知编码器作为抽取器的前端被截获下来，并将其与后端连接起来。

在第二阶段中，他们构建了一个由多个任务组成的有监督数据集，其中涉及到对文档中不同任务的抽取，例如日期、金额等。他们将任务组装成一个大的语义内部的表示并通过多任务训练启动了抽取的预训练。这可以帮助模型学习文本与视觉数据之间的联系，从而Bert-lIke模型的上下文感知部分更容易准确地编码文本信息。

在第三阶段中，他们将所有标记数据混合在一起重新进行训练。为了减少噪声数据的影响，他们引入了几种随机化方法来确保网络对这些数据的应对能力。他们在训练过程中使用加权自适应数据采样（WADS）来平衡标注数据和未标注数据的分布。同时，他们有策略地引入了半监督噪声感知训练（SNAT)，并通过应用不同的网络架构来加强噪声滤波器。

研究意义

本文的研究重点在于推进文档处理领域的发展，特别是在企业环境中可扩展性和效率方面。研究人员提出的半监督持续训练方法不仅解决了在严格时间限制内训练强大文档抽取器所固有的挑战，而且为企业用户提供了一种更快速、更便捷的文档处理实现方式。

谷歌AI的研究团队提出的持续训练模型NAT在使用有限标注数据和训练时间的情况下，可以有效地从VRDs中提取文本和视觉特征，尤其适用于企业场景中的大量文档快速处理。这使普通用户能够访问先进的文档处理功能，并通过提高效率进而提高生产力和降低运营成本。

研究贡献

研究人员提出的半监督持续训练方法为从VRDs中提取文本和视觉特征带来了新的方法，该方法可以有效地解决在有限标注数据和训练时间的情况下训练稳健的文档抽取器所固有的挑战。该研究的一个优点在于它把多种技术、方法和策略结合起来，形成了一个集成的训练框架，可以显著减少解析所需的手动工作量，提高文档抽取器的性能、可扩展性和效率方面。

研究人员开发的半监督持续训练NAT模型不仅扩展了文档处理领域的范围及应用场景，而且为使普通用户能够访问先进的文档处理功能铺平了道路，标志着该领域迈出了重要的一步。

结论

随着VRDs的广泛使用，高效信息提取（IE）的需求变得越来越关键。自动从这些文档中提取相关数据可以显著减少解析所需的手动工作量，但是实现VRDs的IE的通用解决方案面临着重大挑战，因为它需要理解文档的文本和视觉特性，这些特性无法轻松地从其他来源中获取。

本文介绍了由谷歌AI的研究者提出的半监督持续训练方法，以在有限的人工标记样本和有限的训练时间内训练出稳健的抽取器。该方法在VRDs文档处理中具有重要的应用意义，为企业用户提供了一种以更快速、更便捷的方式自动从VRDs中提取文本和视觉特征。该方法有望显著提高企业环境中文档处理工作流的效率和可扩展性，进而提高生产率并降低运营成本。

最后，感谢您的阅读。如果您对文档处理和高效信息提取感兴趣，请在下方评论中与我们分享。您还可以点击关注和点赞，以便随时关注我们的最新资讯。

本文链接：https://www.24zzc.com/news/171276552066281.html