null系统评价、Meta-分析
提要
及结果解释系统评价、Meta-分析方法提要
及结果解释
四川大学华西医院神经内科
中国循证医学/Cochrane中心
二00四年七月一、系统评价Meta-分析的概念与作用一、系统评价Meta-分析的概念与作用(一) 系统评价的概念
(二) 学习系统评价的意义
(一) 概念:
1、什么是系统评价?(一) 概念:
1、什么是系统评价? 称Systematic review (SR)
“A summary of the medical literature that uses explicit methods to perform a thorough literature search and critical appraisal of individual studies and that uses appropriate statistical techniques to combine these valid studies.”
--David Sackett等 2000 什么是系统评价? 什么是系统评价?
全面收集全世界所有有关研究
对所有纳入的研究逐个进行严格评价
联合所有研究结果进行综合分析和评价
必要时进行 Meta-分析(一种定量合成的统计方法)
得出综合结论(有效、无效、应进一步研究)
提供尽可能减少偏倚,接近真实的科学证据2、什么是Meta-分析?2、什么是Meta-分析?1. 广义:系统评价的一种类型(目前普遍采用的定义)
“A systematic review that uses quantitative methods to summarize the results” --David Sackett等 2000
用定量的统计学方法分析、综合、概括各研究结果的一种系统评价(定量系统评价)。
Meta-分析是一种系统评价,而系统评价可以是Meta-分析也可以不是Meta-分析。
2. 狭义:一种定量合成的统计分析方法3、什么是Cochrane 系统评价?3、什么是Cochrane 系统评价? 是Cochrane协作网协作者在Cochrane统一工作手册指导下完成的系统评价,其结果发表在Cochrane图书馆(The Cochrane Library 光盘和因特网)上。 Cochrane系统评价的特点Cochrane系统评价的特点特点 Cochrane系统评价 一般系统评价
资料收集 较全面 不一定全面
质量控制措施 较完善 不一定完善
方法学 较
不一定规范
不断更新 是 否
反馈意见及修正 及时 不一定及时目前经常交叉使用的名词目前经常交叉使用的名词
1) Systematic review 系统评价
(日趋规范的用法)
2) Meta-分析(荟萃分析、汇总分析)
3) Overview
4) Systematic overview
5) Pooling project(二)学习系统评价方法的意义(二)学习系统评价方法的意义有助于:
会做系统评价/Meta-分析
会看懂和使用系统评价/Meta-分析结果
会鉴别证据和研究结果的真伪及可靠性
会设计临床试验
会做卫生技术评估(HTA)(二)学习系统评价方法的意义(二)学习系统评价方法的意义经验:
参加临床试验
系统评价/Meta-分析
自己更好地设计并实施临床试验
卫生技术评估(HTA)
卒中前瞻性登记,队列研究
卒中指南制定 Cochrane系统评价完成过程 Cochrane系统评价完成过程选题及在专业评价组注册题目
完成研究
(Protocol)
送专业评价组编辑部审批
修改
接受和发表
完成全文
送专业评价组编辑部审批
修改
接受和发表
随时更新 Cochrane 系统评价的指导思想Cochrane 系统评价的指导思想以病人为中心(当今世界潮流)
帮助临床决策,解决病人的问题
采用与病人密切相关的判效指标
Patient oriented/Patient centered outcome
以实践者(医生、政府决策者)为主要使用者
复杂问题简单化、科学语言白话化做系统评价的要点做系统评价的要点研究设计:需临床专业知识及研究能力
严格评价:需临床流行病学知识
统计分析:需统计学基础
结果解释:需临床专业及研究能力,客观,理性
基本原则与原始临床试验的设计类似,原始试验以人为研究对象及单位,系统评价以单个的临床研究论文为研究对象及单位二、系统评价方法和步骤二、系统评价方法和步骤提出问题:临床重要并可行的问题
背景和目的:国内外现状、研究问题的重要性
纳入和排除临床研究的
:范围适当
制定资料收集策略:尽可能全面
提取每个研究的资料:基线、方法学质量及结果
评价每个临床研究的质量
分析资料:统计处理、Meta-分析图表
得出结果
结果解释(讨论):证据的可靠性、临床意义、研究意义
结论(一)收集临床研究
(locating studies)(一)收集临床研究
(locating studies)根据
书制定的检索策略进行检索
尽可能地全面和系统
注意包括发表和未发表的研究及以各种语言发表的研究(二)研究的选择和纳入
(selecting studies)(二)研究的选择和纳入
(selecting studies)根据纳入和排除标准选择合格的研究
可分为三步实施:
1 根据题目、摘要初筛,选出可能合格者
2 阅读全文,纳入肯定合格者
3 不肯定者继续收集资料,如与作者或药厂联系,补充资料
nullRetrieve full textExcludeNot sureIncludeExcludeIncludeExclude阅读标题和摘要排除可能符合纳入标准者对照纳入标准排除不肯定合格者纳入排除补充信息纳入收集临床试验阅读全文(三)单个试验质量评价要点(三)单个试验质量评价要点1、是否描述了随机分组的方法?隐藏是否充分?
根据生日或住院号顺序分组不是真正的随机分组
2、盲法采用?治疗实施者、患者、疗效评价者
3、脱失、退出及失访情况,是否可进行意向处理分析?
意向处理分析(ITT):不论试验过程中病人是否依从所分配的治疗方案、是否退出或最后是否符合纳入标准,均根据最初分组时病人所在的组别进行结果分析,而不是根据后来实际所在的组别或将退出的病人排除(四)资料提取 (四)资料提取 设计资料提取表格
提取的主要内容:
一般资料(试验名称、作者、出处等)
质量资料(隐藏、盲法、随访等)
基线资料 (年龄、性别、严重度、病程等)
干预措施资料(治疗方法、剂量、疗程,对照措施等)
结局资料(死亡、残废、事件数等)(五)资料分析(五)资料分析定性分析:将纳入试验的情况进行描述
定量合成:当资料适当时采用Meta-分析方法
系统评价不一定都要做Meta-分析,更重要的是全面系统收集证据及质量评价1、Meta-分析的统计方法及选择1、Meta-分析的统计方法及选择(1)异质性检验:了解各研究结果合并的合理性
无显著异质性:固定效应模型
有显著异质性:随机效应模型或不合并结果
(2)对各研究结果的统计量(RR,OR,WMD,SMD等)进行合并,计算其可信区间,判断有无统计学意义的差异
分类资料:用RR、OR等
连续性资料:用均数差(mean difference)
(3)用森林图展示结果(1)异质性检验及意义(1)异质性检验及意义了解合并各单个研究的结果是否合理?
理论上各单个研究结果应该是相同的 - 合并才合理
实际上不可能完全相同(机遇的作用),但差异不应该有统计学的显著性
如果各试验结果之间差异有显著性,应该了解原因进行相应处理
各试验治疗效果一致则支持这可能是真正的效果异质性的识别异质性的识别1)、通过图表
各研究的可信区间重叠越多,同质性越好
各研究的可信区间重叠越少,异质性越明显
不重叠者异质性有显著性差异 nullnull 2) 通过统计检验识别异质性 2) 通过统计检验识别异质性
同质性好时,Q值应该与自由度为K-1的2值
(Chi-square)一致 (K为研究的数目), 将2值作为Q值看
Q( 2)值越大提示异质性越大
Q( 2)值大于自由度(K-1),提示存在异质性nullnull异质性的处理:异质性的处理:
解释:亚组分析、Meta-回归
不进行结果的定量合并:只做定性的描述分析
忽略:采用固定相应模型(fixed effects model)
说明原因:采用随机相应模型(random effects model)2、各研究统计量的合并2、各研究统计量的合并效应指标的选择:最好在Cochrane评价组指导下选择
(1)分类资料的Meta-分析:
每个病人的结局只能是两种可能性之一,如生与死,痛或不痛,吸烟与不吸烟等
怎样选择反应效果的统计量(OR,RR,RD)?
取决于我们希望从综合的统计量中得到什么信息:
从交流的意义上看?
从效果指标间的一致性来看?
从数学特性上来看? 分类资料效应指标选择 分类资料效应指标选择
分类资料一般来说,可选择相对危险度(RR)
如果事件发生率很低,OR与RR相似,可代替RR
OR和RR是相对指标,用于各单个试验结果的合并
RD是绝对指标,适用于将研究结果用于临床实践时,NNT是结果的再表达,更易理解
做系统评价时最好相对指标和绝对指标都用
(2)连续性资料的Meta-分析(2)连续性资料的Meta-分析
如血压、身高等资料
需正态分布
偏态分布,中位数等不适合
所有试验的测量单位相同时选权重的均数差(WMD)
各试验测量单位不同时选标准化的均数差(SMD)
方法学不及分类资料成熟3、用Meta-分析图(森林图)展示结果3、用Meta-分析图(森林图)展示结果一条短横线代表一个试验结果的可信区间(CI),越短结果越精确、越肯定
中线代表OR=1
最下方的棱型符号代表所纳入试验的综合结果
短横线/棱型符号与中线接触或相交示差异无统计学意义。对不利结局,短横线在中线左边示有效,在右边示无效,对有利结局则相反。可信区间 (Confidence interval CI)可信区间 (Confidence interval CI)真值可能存在的范围,反映结果的精确性
范围越宽,横线越长,说明样本量小,结论不精确可靠
范围越窄,横线越短,说明样本量大,结论较精确可靠
nullnull 六、结果解释(讨论) 六、结果解释(讨论)对同样的结果不同作者可能有不同解释,容易误导
亚组分析
发表偏倚
敏感性分析
其他(一)亚组分析:对结果异质性的解释(一)亚组分析:对结果异质性的解释
当各研究间结果的异质性有统计学意义时:
可进行亚组分析,了解是否某亚组病人(老年或青年组),或某剂量更有效
进行Meta-回归,了解某因素是否与治疗效果有关
应事先在计划书中确定那些因素可能造成异质性,并将进行亚组分析
若事后亚组分析则应说明:其结果最多只是假说的产生,甚至这种假说的产生也是危险的
还要考虑这种异质性是否科学合理(机遇1/20) (二)发表偏倚 (二)发表偏倚当结果阳性并有统计学意义时,应解释结果是否受发表偏倚的影响
阳性结果文章比阴性结果文章容易发表
小样本试验显示戏剧性结果时容易发表
对系统评价结果的影响:使其结果不真实,造成对临床实践的错误导向
不发表阴性结果是对病人不负责任 发表偏倚的问题发表偏倚的问题 Johns Hopkins医院737个研究的随访发现:
投出发表的阳性结果研究数是阴性结果的研究的2.5倍
(Dickersin,JAMA,1992) 评价方法:
漏斗图(Funnel Plots)分析发表偏倚
失安全数(fail safe number):需多少个阴性试验能使结果逆转nullPublication Bias: Use of Funnel PlotsLog Odds RatioStreptokinase for myocardial infarctionPrecisionnullPublication Bias: Use of Funnel Plots中外针灸试验对比中外针灸试验对比阳性结果率:
针灸试验:发达国家 50-60% 国内 100%
非针灸试验:发达国家70% 国内 大于99%
原因:可能主要为发表偏倚
“使用这些国家的资料进行系统评价时要注意”急性缺血性卒中临床试验对比急性缺血性卒中临床试验对比国外多是阴性结果
国内多是阳性结果 (95%)发表偏倚的可能原因发表偏倚的可能原因杂志不愿发表阴性结果
作者不愿发表阴性结果
药厂不愿发表阴性结果
疗效判断指标的某些选择易于出现阳性结果,发表机会增多Cochrane 系统评价对发表偏倚的措施Cochrane 系统评价对发表偏倚的措施全面收集发表与未发表的研究报告
全面登记即将进行的临床试验并跟踪
得出阳性结果时:
检验是否存在发表偏倚的可能,如漏斗图,失安全数
在论文讨论中说明发表偏倚的可能性和影响
(三)敏感性分析 (三)敏感性分析
了解结果的稳定性和可靠性
排除某些研究或资料后进行再分析,看结果是否会发生改变
所有的系统评价都涉及主观的判断
敏感性分析试图发现这些主观判断的变化怎样影响系统评价的结论 敏感性分析举例 敏感性分析举例排除某些可疑的资料
排除较低质量的研究
排除小样本研究
排除特殊的占主导地位的大样本研究
某些系统评价组有一套要求进行敏感性分析的清单
(四)结果解释的其他内容(讨论)(四)结果解释的其他内容(讨论)也要在讨论中说明:
纳入研究的质量:该系统评价的局限性
结果的维度:
1、证据强度:级别、质量和精确性(CI)
2、效果的大小(幅度)
结果的机制、生物学合理性,其他证据:生物的、剂量反应等研究的证据 结果解释的其他内容(讨论) 结果解释的其他内容(讨论)应用性:
对临床实践的意义:结果是否能帮助指导一般的决策或特异情况下的决策?
对临床研究的意义:重视说明结果的不肯定性(如果存在),指出进一步研究的方向 注 意 注 意 一个系统评价不一定非要包括Meta-分析
如果缺乏相关的或可靠的资料,或研究之间有显著的异质性时,Meta-分析就不可能进行
一个结论合理而真实的系统评价比结论不真实的Meta-分析更有价值(研究生倾向,应特别注意)
系统评价可以指出研究的缺口并对未来应进行的研究提出建议做系统评价的体会做系统评价的体会做一个系统评价不难
难的是做一个高质量的系统评价
学习做系统评价的最好途径是做一个Cochrane系统评价
做好系统评价所需要的相关知识
临床流行病学知识
临床专业知识
统计学知识 选择统计方法
计算机能力
文献检索能力
英语能力
也可以从做的过程中不断补充学习相关知识设计进一步学习系统评价的途径进一步学习系统评价的途径最好途径是完成一个Cochrane系统评价
中心可能提供的支持:
个别辅导咨询:与吴泰相老师联系
进修数月:与李静、吴泰相老师联系
研究生进入循证医学实验室完成课题:待中心研究七、怎样评价系统评价?七、怎样评价系统评价?结果的真实性
1 是否为随机对照试验?
2 有方法学描述吗?
收集和包括了所有有关试验吗?
评价了原始单个试验的真实性吗?
结果的重要性:使用NNT(为防止一个有害事件发生需治疗多少个病人)
这个真实、重要的结果可应用于我的病人吗?