关键词:
中医临床研究
结题质量评价
评价指标
雷达图
马尔科夫模型
信度
效度
权重
摘要:
近年来,国家加大了对中医药事业发展的扶持力度,设立了多项中医药临床的国家级重大科研项目,中医药项目在我国科技资源配置中占有的份额逐渐增大,因此,其项目的设立、研究过程的执行及最终结果的评定将对我国中医药事业的发展产生深远影响。
质量控制(quality control, QC)是指为达到一定的质量要求所采取操作技术和活动。在中医临床研究中,质量控制是保证研究设计与实施的科学性、伦理管理的合理性、研究数据与研究结论的真实可靠性的必要措施。因此,科技部首次在“十一五”国家科技支撑计划“重大疑难疾病中医防治研究”项目的中,专门设立“中医临床研究的方案优化及质量控制研究”课题(No.2006BAI04A21),探讨和研究适合中医临床研究的质量控制体系和模式,通过建立四级质量保障体系,开展临床研究质量控制,保证研究的质量和水平。
本研究针对“重大疑难疾病中医防治研究”项目的42个疾病课题组实施质量控制监查,根据监查结果对中医临床研究进行结题质量评价。
一、研究目的
1.在中期和过程评价量化指标基础上,构建中医临床研究结题质量评价量化指标体系。
2.分析中医临床研究结题质量评价量化指标的信度和效度,探讨该指标体系在中医临床研究结题质量评价中的应用。
3.运用图形化手段,结合实际质量控制监查情况评价中医临床研究的结题质量。
4.探索建立中医临床研究质量等级动态变化模型,分析课题质量等级的变化趋势。
二、研究方法
1.针对中医临床研究结题中的关键问题,在前期工作基础上,通过专家咨询、核心小组讨论等方法,确定了12个中医临床研究结题质量评价指标。通过专家经验法确定指标的主观权重,并根据主观权重计算课题的结题质量评价得分;采用科隆巴赫系数、组合信度和平均析出方差评价指标的信度,采用结构方程模型评价指标的效度;通过偏最小二乘法估计指标的客观权重。根据指标主、客观权重及指标分数相加计算各疾病课题的结题质量评价得分并进行排名;将主观加权排名、客观加权排名与指标分数排名进行对比分析及质量等级划分;探索采用多元显示图形—闪电图,观察各等级课题结题质量评价指标平均得分的差异。
2.尝试采用雷达图法将质量控制监查数据图形化,结合实际监查情况,对中医临床研究进行结题质量评价。
3.探索建立中医临床研究质量动态变化过程MARKOV模型,通过课题质量等级转移强度矩阵,观察分析课题质量等级的变化趋势。
三、研究结果
1.初步构建的中医临床研究结题评价量化指标,由1个准则(结题质量评价),4个准则(研究设计与执行、研究记录质量、数据溯源、伦理管理与质量控制),12个指标(试验随机设计与执行、盲法设计与执行、研究药物数量及使用记录、研究病历完整性、研究病历的不合理涂改、不良事件/不良反应的记录、是否采用第三方数据库、数据库与研究病历关键指标一致性、研究病历原始数据溯源、知情同意书签署完整规范性、一级检查、
二级监查)组成。
信度分析结果显示:全部潜变量的组合信度都在0.7以上,说明潜变量通过指标能够对课题质量进行有效测量。“研究设计执行”、“研究记录质量”AVE接近0.5,“数据溯源”、“伦理管理及质量控制”AVE高于0.5,接近0.6,说明各潜变量变异多来源于真实变异,各测量变量对潜变量有一定的解释能力。“研究设计执行”、“研究记录质量”α系数接近0.5,“数据溯源”、“伦理管理及质量控制”α系数接近或超过0.6,显示了该结构具有可接受的内部一致性。
采用bootstrap方法来检验模型路径系数、权重、载荷的显著性,结果显示:所有载荷值均显著非零,说明模型有较好的结构效度。同时,使用Visual PLS和R进行参数估计,同时重复抽样1000次来估计载荷的标准误,载荷的估计值是显著非零的,说明该模型的结构效度在可接受范围内;全部潜变量的AVE值均大于潜变量间的相关系数的平方,说明该模型潜变量具有较好区别效度。综上所述,该模型具有较好的效度。
三种排名比较结果显示:指标分数排名与客观加权排名比较,第一个四分位区间的课题排名吻合度为80%,第二个四分位区间到第三个四分位区间的课题排名吻合度为71%,最后一个四分位区间课题排名吻合度为70%:主观加权排名与客观加权排名比较,第一个四分位区间的课题的排名吻合度为90%,第二个四分位区间到第三个四分位区间的课题排名吻合度为86%,最后一个四分位区间课题排名吻合度为60%;主观加权排名与指标分数排名比较,第一个四分位区间课题排名吻合度为90%,第二个四分位区间到第三个四分位区间的课题排名吻合度为90%,最后一个四分位区间课题排名吻合度为90%。采用Kendall's tau相关的计算方法,分析三种排序