克日，，，，
，人工智能/自然语言处理领域的顶级国际学术聚会EMNLP 2023论文吸收效果宣布。。。。来自j9九游会盘算机学院自然语言处理与多模态人机交互实验室的2篇论文被吸收任命。。。。EMNLP全称自然语言处理履历要领聚会（Conference on Empirical Methods in Natural Language Processing），，，，
，作为国际语言学会(ACL)下属的SIGDAT小组主理的自然语言处理领域的顶级国际聚会，，，，
，是人工智能/自然语言处理领域主要国际学术盛会（CCF-B类），，，，
，以上两篇事情为我校首次在该聚会吸收的论文，，，，
，展现了近年来盘算机学院学科建设、研究生人才作育事情一直取得新的突破。。。。

被任命论文的简要介绍如下：

1. Vision-Enhanced Semantic Entity Recognition in Document Images via Visually-Asymmetric Consistency Learning

类型：Main-conferenc

作者：王昊（讲师）、陈夏华（2021级硕士研究生）等

简介：从视觉富厚的类表单文档 (VFD) 中提取属于预界说类别的实体是一项具有挑战性的使命。。。
？Ｋ剂康较嗤嘈偷挠镆迨堤逋ǔ＞哂邢嗨频氖泳鹾徒峁故粜裕，，，
，如相同或相似的字体、配景、颜色以及界线框的位置和巨细！。。，，，
，这为识别实体及其类型提供了主要的指示。。。。然而，，，，
，现有模子仅在预训练阶段加入粗粒度的跨模态约束（例如文本图像、字补丁和结构文本对齐）来增强视觉通道的特征提取！。。，，，
，但这并不可捕获足够的细粒度视觉特征并且视觉先验知识的使用缺乏。。。。其次，，，，
，之前的要领视觉编码器的体现能力比最新的光学字符识别（OCR）引擎中的视觉编码器弱，，，，
，由于它们没有思量文本段检测和界线框回归等中心使命，，，，
，而这些使命关于准确定位和提取细粒度视觉特征很是主要。。。。因此，，，，
，团队提出了一种新颖的视觉差池称一致性学习（VANCL），，，，
，通过连系颜色先验来增强模子捕获细粒度视觉和结构特征的能力。。。。

图1 VANCL双流一致性学习框架

VANCL接纳一种双流一致性学习的框架将增强的视觉信息迁徙至原始模子，，，，
，具有无参数引入、可拔插式的优势，，，，
，后续实验证实晰差别颜色模式与人类行为具有一定相关性，，，，
，颜色搭配模式对效果的影响是切合认知心理学的。。。。

图2 差别数据集、差别主干模子的性能较量

2. DocTrack: A Visually-Rich Document Dataset Really Aligned with Human Eye Movement for Machine Reading

类型：Findings

作者：王昊（讲师）、王庆旋（2022级硕士研究生）、李越（2019级本科生）等

简介： 各领域对视觉富文档的使用，，，，
，催生了对能够像人类一样阅读和明确文档的文档人工智能模子的需求，，，，
，这需要战胜手艺、语言和认知障碍。。。。遗憾的是，，，，
，缺乏合适的数据集严重阻碍了这一领域的生长。。。。为相识决这个问题，，，，
，该团队构建了一个全新的数据集 DocTrack，，，，
，这是一个包括了多种类型视觉富文档的多模态数据集，，，，
，并使用眼动跟踪手艺捕获人类眼动信息，，，，
，资助研究者更好的明确人类阅读认知历程。。。。

别的，，，，
，团队还探讨了差别阅读顺序对文档明确使命的影响，，，，
，由于默认的OCR引擎剖析后的文档内容顺序往往是无纪律的，，，，
，倒运于机械明确视觉富文档；；；现有的模子缺乏从给定文档中爆发适合Transformer架构序列化输入的能力。。。。因此，，，，
，该研究探索若是机械凭证与人类相同的顺序阅读会爆发什么，，，，
，在 OCR原始顺序、Z-Order和人类阅读顺序三类差别的顺序的基础上，，，，
，探讨了阅读顺序对机械视觉富文档明确的影响。。。。同时，，，，
，提出了基于多模态特征融合的排序模子来模拟人类的阅读顺序，，，，
，每个模子都思量到了影响人类怎样选择优先阅读工具元素的差别因素，，，，
，包括元素的位置、元素中的文本以及与之相关的视觉区域。。。。使用这些模子，，，，
，我们可以更准确地评估阅读顺序对人类明确此类文档的影响。。。。

图3 模拟人类阅读顺序的排序模子

该研究进一步基于四种差别的模态组合去模拟人类阅读顺序，，，，
，并基于所预测出的顺序，，，，
，构建了响应的机械文档明确模子。。。。实验效果批注，，，，
，所提出的模子可以模拟的人类阅读顺序，，，，
，且与真实人类阅读的顺序具有很高的相关性。。。。

图4 DocTrack数据集上人类的阅读顺序对机械明确视觉富文档的影响

虽然，，，，
，虽然文档人工智能模子已经取得了重大希望，，，，
，但要像人类一样准确、连续、无邪地阅读视觉内容更富厚的文档，，，，
，尚有很长的路要走。。。。

近年来，，，，
，盘算机学院学科建设、人才作育、科学研究等事情一直深化推进，，，，
，逐渐深入专业领域前沿，，，，
，产出更多高质量科研效果，，，，
，为学院作育高质量立异人才起到主要支持作用。。。。