文献类型：期刊文献

中文题名：多类型注意力下参数自适应的多标签文本分类

英文题名：Parameter Adaptive Model Under Multi-Type Attention for Multi-label Text Classification

作者：李智强[1];过弋[1,2,3];王志宏[1]

机构：[1]华东理工大学信息科学与工程学院,上海200237;[2]大数据流通与交易技术国家工程实验室商业智能与可视化技术研究中心,上海200436;[3]上海大数据与互联网受众工程技术研究中心,上海200072

年份：2022

卷号：36

期号：10

起止页码：116

中文期刊名：中文信息学报

外文期刊名：Journal of Chinese Information Processing

收录：CSTPCD;;北大核心:【北大核心2020】；CSCD:【CSCD2021_2022】；

基金：国家重点研发计划(2018YFC0807105);上海市科学技术委员会科研计划项目(22DZ1204903,2251104800)。

语种：中文

中文关键词：多类型注意力机制;参数自适应;多标签文本分类

外文关键词：multi-type attention mechanism;parameter adaptation;multi-label text classification

摘要：多标签文本分类是指从一个极大的标签集合中为每个文档分配最相关的多个标签。该文提出一种多类型注意力机制下参数自适应模型(Parameter Adaptive Model under Multi-strategy Attention Mechanism,MSAPA)对文档进行建模和分类。MSAPA模型主要包括两部分:第一部分采用多类型注意力机制分别提取融合自注意力机制的全局关键词特征和局部关键词特征及融合标签注意力机制的全局关键词特征和局部关键词特征;第二部分采用多参数自适应策略为多类型注意力机制动态分配不同的权重,从而学习到更优的文本表示,提升分类的准确率。在AAPD和RCV1两个基准数据集上的大量实验证明了MSAPA模型的优越性。
Multi-label text classification assigns the most relevant multiple labels to each document from a huge label set.This paper proposes a parameter adaptive model under a multi-strategy attention mechanism(MSAPA)for multi-label text classification.The MSAPA model first uses multiple types of attention mechanisms to extract global and local keyword features with self-attention mechanism and label attention mechanism,respectively.Then it adopts a multi-parameter adaptive strategy to dynamically assign weights to multiple types of attention mechanisms,so as to learn a better text representation for classification.Experiments on the two benchmark data sets of AAPD and RCV1 validate the superiority of the MSAPA model.