文献类型：期刊文献

中文题名：融合多重视觉特征与语义信息的图像描述生成

英文题名：Combining multiple visual features and semantic information for image captioning

作者：傅煦嘉[1];周家乐[1];王慧锋[1];颜秉勇[1]

机构：[1]华东理工大学信息科学与工程学院,上海200237

年份：2023

卷号：44

期号：4

起止页码：1066

中文期刊名：计算机工程与设计

外文期刊名：Computer Engineering and Design

收录：CSTPCD;;北大核心:【北大核心2020】；

基金：国家自然科学青年基金项目(61906068)。

语种：中文

中文关键词：图像描述;多注意力融合;语义信息;深层图像描述模型;MOGRIFIER网络;收敛速度;精度

外文关键词：image caption;multi-attention fusion;semantic information;deep image caption model;MOGRIFIER network;convergence speed;accuracy

摘要：针对图像描述模型中对语义信息考虑不足,循环神经网络收敛速度慢与精度低等问题,提出一种基于多注意力融合的深层图像描述模型。通过对图像中提取到的内容信息以及文本描述信息分配不同的权重,达到提升精度的效果,融合MOGRIFIER网络解决循环神经网络收敛速度缓慢的问题。使用改进模型与传统模型在数据集MSCOCO上进行对比实验,实验结果表明,该方法能够生成更加准确的描述,在BLEU与CIDEr等关键指标上有明显提升。
A deep image caption model based on multi-attention fusion was proposed to solve the problems of insufficient conside-ration of semantic information,low convergence rate and low accuracy of recurrent neural network.The content information extracted from the image and the text description information was assigned with different weights to improve the accuracy.The problem of low convergence speed of the recurrent neural network was solved by integrating the MOGRIFIER network.The improved model was compared with the traditional model on the dataset MSCOCO.Experimental results show that the proposed method can generate more accurate description and significantly improve the key indicators,such as BLEU and CIDEr.