首先是正能量。
椰菜君期望所有的自闭症治疗研究都能和该研究,还有之前聊过的某益生菌研究一样,尽力做严格的随机分组、安慰剂控制、盲法临床研究。毕竟经费紧张,生命有限,辣鸡研究会成为一生的污点。
其次是一些不中听的话,仍然希望研究者都秉持“言者无罪,闻者足戒”的古训,就事论事,不要跨省。
1、盲法
两年前椰菜君看到的内部资料显示,“分组情况仅由课题负责人、项目负责人和实施者掌握”,据此猜测所有研究者,包括给两组患者做评估的人、分析数据的人,都是知道分组情况的,怀疑这种设计会影响所得数据和结论的可靠性。
该研究负责人后来告诉椰菜君,此点表达有误,会在英文论文中更正。因此椰菜君在正式论文中看到这样的说明:
“The parents and the physicians who administered the clinical exams were blinded to the randomization status. The parents were also blinded to the nature of the intervention during the study and were informed that the children were receiving attention training.”
“家长和进行临床检查的医生对随机化分组情况一无所知。在研究期间,家长也对干预的性质一无所知,只是被告知孩子正在接受注意力训练。”
2、数据
研究募集了60位参试患者,对他们进行随机分组后,两组患者的各方面情况应该基本一致,没有显著差别。两年前椰菜君看到的内部资料显示,两组患者的年龄和CARS量表评估结果是这样的,确实是均衡的:
椰菜君在正式论文中看到的,则是这样的:
奇怪的事来了。。。
在内部资料和正式论文中,两组患者的CARS评估得分是一样的,分别都是36.68和38.55,检验P值也都是0.22,但为什么两组患者的年龄变不一样了呢?从分别是55和54.9变成了55和52.33,P值从0.98变成了0.491?
根据正式论文,主要是疫情的影响,许多患者放弃了参与研究,因此上表数据来自完成了研究的患者,其中试验组17人,对照组24人,脱组率分别是 43% 和 20%。正式论文去掉了脱组患者,重新做统计以证明两组患者没有显著差异,这也勉强可以接受,但为什么年龄数据受到影响,CARS数据却一点儿也不受影响?
此外,根据正式论文的描述,两组患者在研究开始前还做了 SRS (社交反应量表)评估,得到的结果是试验组患者为90.7,对照组患者为112.5,检验P值小于0.001,表明以SRS评估为标准的话,两组患者有显著差异,这对随机分配的有效性是一个重大挑战。然而这么一个关键数据,不知道为什么不放在表1里面,是不是去掉脱组患者后,这个数据变得更难看???
3、结果
在内部资料中,列出了两组患者干预前后的一些数据比较,比如:
根据正文说明,表2的数据是两组患者干预前后各项评估值的独立样本T检验,那表明在干预后也做了CARS量表评估啊???是该研究负责人健忘,还是后来又补做了数据???
不过无论如何,根据这个数据看,干预前后,两组患者的CARS评估分数平均值没有显著不同(检验P值0.464,远大于0.05),通俗说就是两组的变化是基本一致的,附加的脑机接口没有起到期待的自闭症症状改善加速效果。
并且根据正式论文,干预后的 SRS (社交反应量表)评估,试验组为83.8,对照组患者为102,检验P值0.019, 一样表明两组的变化基本一致,附加的脑机接口没有起到期待的社交能力改善加速效果。
从表 2 还可以看出,干预前后,同对照组相比,试验组唯一有“显著”优势的只有PEP-3评估中的“表达性语言”一项:
甚至在家长报告中,适应性行为这一项,试验组貌似反而比对照组更差。
从表 2 还可以看出,干预前后,试验组的 SRS (社交反应量表)评估可能几乎在各方面的改善都劣于对照组:
综上所述,能得出什么结论就不用椰菜君明说了吧。
论文在这里:
Wearable EEG Neurofeedback Based-on Machine Learning Algorithms for Children with Autism: A Randomized, Placebo-controlled Study(基于机器学习算法的可穿戴脑电图神经反馈治疗自闭症儿童:一项随机、安慰剂对照研究)