关键词:
文本挖掘
LDA
DTM
ARIMA模型
中医药学
摘要:
随着中医药学研究的深入发展,相关领域的研究成果呈现指数级增长,如何从海量文献中高效提取核心主题信息并追踪其动态变化,已成为学术界和实践领域亟待解决的关键问题。文本挖掘技术可以从文本中提取其潜在主题,并分析研究趋势。因此,将文本挖掘技术应用在中医药学领域具有重大意义,为后续研究方向提供指导性参考。
本文聚焦于中医药学领域文献主题提取与演化分析,旨在通过文本挖掘相关方法,深入探究中医药学文献中的核心主题,并追踪各个研究主题在时间维度上的动态演变过程。以中医药学领域的硕博论文和高质量期刊为数据来源,利用Python爬虫技术采集文献的基本信息、关键词及摘要等关键数据。采集到2000-2022年论文文献19361篇,1993-2022年中国中药杂志期刊文献19161篇,1993-2022年中医杂志期刊文献21180篇。第一,通过描述性分析方法对中医药学领域的研究文献进行总体概览。第二,结合关键词词云图和词频统计方法,提取中医药学领域的高频关键词。第三,利用主题困惑度和一致性确定主题数目,建立LDA、DTM主题模型,对提取的关键词进行主题命名总结,利用层次聚类法按照趋势对热点主题进行聚类,并结合桑基图和主题热度图分析主题间的相关性及演化过程。第四,利用ARIMA模型对主题热度进行预测,重点关注并展示未来热度明显上升和下降的主题。
传统的LDA方法只能获取主题静态特征,DTM进行多个时间段分割会消耗大量时间和资源。因此,本文创新点主要在于将LDA和ARIMA模型结合,节省了大量时间和计算机资源,利用桑基图展现主体间的相似性和主题演化路径。同时,由主题模型得到“文档-主题”矩阵,根据概率矩阵计算主题热度,对相似的研究主题聚类,分析中医药学研究主题随时间维度的热度变化。结果表明硕博论文研究主题演化主要由中药材成分分析、动物模型等在临床应用向肿瘤应用发展。中国中药杂志研究主题主要由中药成分分析、药用植物栽培等向动物模型、细胞检测、基因测序等主题方向拓展。中医杂志更关注具体致病的诊治,由糖尿病、炎症等单一病症向中西医对照结合,多并融合发展。由LDA、DTM和ARIMA模型得到的主题趋势可得,研究热度呈现上升趋势的主题有肿瘤、细胞遗传和患者临床,并且基因工程和人工智能等技术逐渐应用到传统中医药学中。研究热度呈现下降趋势的主题主要集中在传统中医药学,例如中药材炮制、药材种植和传统疾病研究。通过查阅综述类文献,主题模型和时间序列模型能够有效挖掘和预测中医药学文献各阶段主题分布及演化。