Date of Publication:2019-08-25 Hits:
Affiliation of Author(s):经济与管理学院
Journal:数据分析与知识发现
Key Words:关键词抽取;TextRank;LDA;图模型;
Abstract:【目的】利用主题模型得到文本主题信息,将主题信息融入TextRank模型对其进行改进,提升文本关键词自动抽取的准确率和召回率。【方法】利用LDA对文档集进行主题建模,得到候选关键词的主题词分布和文档主题分布;结合候选关键词主题分布特征计算节点权重,加权文档–主题概率分布和主题–词概率分布特征作为节点的随机跳转概率;构建新的转移矩阵进行词图迭代,得到改进后的TextRank模型。【结果】采集南方周末网站1 559篇新闻文章进行实验。结果表明,本文模型的关键词抽取效果明显优于原始TextRank和TF-IDF模型;当抽取关键词个数为3时,本模型准确率比原始TextRank模型的准确率提升4.7%,比TF-IDF提升6.5%。【局限】融合算法的计算复杂度增加。【结论】融合主题信息的TextRank算法能够使关键词自动抽取效果更加显著。
ISSN No.:2096-3467
Translation or Not:no
Date of Publication:2019-08-25
Co-author:孙明珠,Qian Lingfei
Correspondence Author:Ma Jing
Date of Publication:2019-08-25