教授收到博士生的调查问卷,回复:又一份令人无从下手的失败问卷

体娱   2025-01-27 07:33   浙江  

文章来源:鄢显俊教育实验研究公众号;作者:鄢显俊(重庆大学马克思主义学院教授)


编者按:
2024年12月2日,我收到一封邮件,来信人系某985师范大学教育学部的博士研究生W同学,他非常有礼貌地邀请我填答一份问卷,他说此问卷是其导师承担的XX基金重大项目的组成部分也是其博士论文的重要组成部分……因为该同学态度诚恳礼貌有加,而且他所研究的问题也引发我的兴趣,我愿意作答。可是,这个问卷我才回答几道题后就觉得“味道不对”——根据其研究主题问问题的“姿势不对”,我快速填答后点击“下一步”、再“下一步”——发现题目量大到“毫无人性”……于是我果断停止答题。

初步判断:这是一个有严重硬伤的调查问卷,完全可以作为我的教学案例用来指导研究生,教会他们:“如何做正确的实证研究?”因此,我让研究生弟子试填答问卷并要他们集体讨论问卷,指出其存在问题并提出修改方案。研究生弟子很快完成这项学习任务并对问卷存在的问题进行比较专业的评价。在此基础上,我给该博士生同学回复了一封长信,针对其问卷存在的硬伤及其博士论文写作潜在的风险,提出了我的看法并强调:我的意见仅供参考。
以下,原文贴出:
1.博士研究生W同学给我的信;
2.我的研究生弟子们对W同学所编制问卷的评价;
3.我给W同学的回信及建议。

希望这个教学案例能够帮助到:马克思主义理论学科、教育学科以及其它社会科学类硕、博研究生——在做实证研究时不犯低级错误,懂得用正确的方法做实证研究。
希望研究生们牢记实证研究有四大忌:
一忌不懂核心概念必须做操作化定义;
二忌研究“巨无霸”问题;
三忌做假研究;
四忌乱抽样。
鄢显俊
2024.12.11


作者介绍:鄢显俊,男,民盟盟员,法学博士,出生于云南昭通市昭阳区,重庆大学马克思主义学院教授。

一、某985师范大学博士研究生W来信
尊敬的鄢老师:
您好,冒昧打扰了。我是XX范大学教育学部博士研究生W,课题组正在进行一项调研,旨在探讨高校教师的社会服务参与情况及其影响因素。此项研究由XX师范大学教育学部XXX教授指导,是XXX重大项目“新时代高等教育服务创新驱动……研究”的一部分,同时也是我博士论文的重要组成部分。
在知识经济和创新型国家建设的时代,高校教师的角色已经发生了显著的变化,他们不仅是知识的传授者,更是社会创新和进步的重要推动者。教师通过知识普及、教育培训、咨询服务、委托研究以及技术转化等多种途径将象牙塔中的知识与技能扩散到更为广泛的社会中,促进社会经济发展。我们非常重视每位教师的独特视角和经验,无论您参与社会服务的程度如何。您的参与将直接影响我们如何更深入理解高校教师的角色及其在社会发展中的贡献,并将帮助政府和高校制定更有效的政策,以优化教师的工作环境。
本调查严格遵守学术伦理规范和国家的相关法律法规,所有信息将被严格保密,并以匿名形式保存,结果仅作学术研究使用,对您不会构成超过日常生活的风险。您自愿决定是否参与本项研究,并且有权利选择在任何时候退出研究。如果您退出研究,之前已经从您这里收集到研究数据将被删除。
该调查已经得到来自9所院校不同学科近800位教师的有效反馈,预计将调研3000位教师。我们非常期待能听到您的声音,希望您能在百忙之中抽出6-10分钟完成这份问卷,每一份填写都是对我们研究的巨大支持。填写完成后,您可以领取3-5元不等的红包,感谢您的支持与帮助!

问卷地址:……
祝老师生活愉快,工作顺利!
博士研究生W某某 XX师范大学教育学部
EmailXXX 电话:XXX

二、关于《XX师范大学“高校教师社会服务参与及影响因素调查问卷”》存在问题和改进建议

我的研一、研二弟子如是评价该问卷:

该问卷调查的是“高校教师社会服务参与及其影响因素”,研究较新颖,具有可行性,但是在问卷设置上存在诸多问题。主要存在以下方面不足。

1.没有根据核心概念的操作化定义来编制问卷。作为一项实证研究,对核心概念的操作化定义是研究得以展开的前提,即将抽象的理论概念转换为可感知、可观察、可测量、可比较的具体项目。然而,该问卷的编制并没有从核心概念的操作化定义出发来编制,继而导致填答难以知晓哪些活动属于社会服务,哪些不属于。同时,由于对“教师的社会服务活动”概念界定较模糊,使得其与问卷调查的测评指标有出入。例如,在服务活动情况调查部分,该问卷将社会服务活动划分为知识普及类、教育培训类、咨询服务类、委托与合作研究类、成果转化类四类。但它开头对于教师社会服务活动的定义却无法清楚体现这种划分的科学性。并且在后续的调查中显然更侧重知识普及类和教育培训类两方面,因此对分类的科学性更是存疑。

2.问卷的问题设置逻辑不清晰。问卷中关于参与社会服务活动频次的调查若是针对前面选择的服务类型的进一步调查,那么应该保证一一对应,问题指向保持一致,均为以下面哪种形式参与社会服务活动,并且应该明确为以下面哪种形式参与,保障问卷前后一致性。同时,部分问题设置与调查目的关联性不强,如对“社会服务参与情况的地理范围进行调查”等。

3.问卷的信效度难以保证。该问卷的诸多题目的含义模糊、语言用词不当,如“我个人的学术兴趣和外部机构的需求难以协调一致”“追求经济利益的市场活动与追求真理的科学研究规范相矛盾”等,这里的外部机构指什么?市场活动是代表社会服务活动吗?这些内容都有些歧义,会导致问卷结果信效度较低。同时,问卷提示填答者有权随时跳过不愿意回答的问题。显然这种设置不太合理,会造成一些重要信息遗漏,结论的可靠性存疑。

4.问卷题量过大,问卷设置偏离实际。问卷一共四个部分,其中第三部分有近50道小题,题量太大。且填答者是高校教师,应该充分考虑用户需求,精简问卷题量、问句长度,才能给填答者更好的体验,每一道题更多的思考时间,进一步输出有效真实的感受。

5.开放性的问题设置上范围过大。这易使答题者不知从何谈起,或者答案完全没有针对性,从而导致该问题所收集的信息科学性降低。因此可以增强开放性问题的导向性或者是更具体一些。

综上,该问卷设置存在诸多问题,建议编制者应当再次斟酌“高校教师的社会服务活动”这一概念,继而根据核心概念的操作化定义来编制问卷;同时,注重问卷设置的逻辑性,考虑问卷信效度问题,做真研究,提高问卷调查的科学性和可靠性;最后,根据问卷填答者的相关特点,抓住核心问题精简设置问卷,使其输出更真实、更有用的信息。

  2024年12月10日

三、鄢显俊给博士生W同学的回信

W同学:

你的问卷,我填了几个题目后果断放弃,因为,这个问卷设计极其不科学!依靠这种不科学的问卷,你无法完成研究。如果我是评委,你的博士论文难以通过啊!我让研究生弟子(硕士)精读你的问卷并挑毛病,形成《关于<WW师范大学“高校教师社会服务参与及影响因素调查问卷”>存在问题和改进建议》,供你参考。

从你问卷设计来看,你最大的问题是:没有对核心概念做操作化定义。你要做操作化定义的核心概念是“高校教师社会服务参与”,但从你的问卷题目来看,你显然不懂什么是概念的操作化定义。在社会研究中,尤其是针对经验问题展开的任何实证研究,必须针对核心概念做操作化定义。否则,你的研究就会沦落为“CCTV记者式的笑柄”。
2014年CCTV某记者在北京街头逮人就问:“今天您幸福吗?”大爷一脸蒙圈:“我是来打酱油的。”
一个人的幸福可不可以测量,当然可以。CCTV记者要对居民的幸福状态/幸福感受做调研,必须认真阅读社会学的教科书,掌握社会调查研究的基本常识——尤其要懂得:“如何对幸福做操作化定义?”。
基于上述逻辑,你要对“高校教师社会服务问题”展开研究,你首先得对“高校教师社会服务参与”做操作化定义。
何谓概念的操作化定义?你要精读风笑天著:《社会研究方法》(中国人民大学出版社2001年版)。

社会研究的常识是:针对社会问题做实证研究的前提和基础是对核心概念做操作化定义,基础不牢,地动山摇。皮之不存,毛将焉附?
我原来一直以为,马学科研究生做实证不合格是常态——因为导师和研究生都不懂得“何谓概念的操作化定义”,而教育学科会比马学科好很多。但是,从你的问卷质量来看,也不尽然啊!方向不对,努力白费。马学科的绝大多数导师之所以不能指导研究生做出合格的实证研究类学位论文,是因为:导师们不懂何谓实证研究?导师自己也没有做过实证研究,或者说:做过,但没有做对!我强烈建议你:赶紧停止发放问卷,你要先搞清楚“何谓概念的操作化定义?”这个问题不解决,你的研究无法自圆其说,最终会做成“假研究”。如何实证研究的开展,都要基于问卷调查的数据。如果问卷不科学,整个研究就不成立。

另外,你信中说:“该调查已经得到来自9所院校不同学科近800位教师的有效反馈,预计将调研3000位教师。”看到这样的表述,更加深了我对你从事此研究的担忧啊!一个最简单的问题就是:调研高校3000位教师,你就想要说明中国207万高校教师(来自3117所高校)的某种状态。
那么,你的统计学依据是什么?也就是说,你针对207万个样本/个体组成的庞大总体——即你的研究对象,你从中抽样3000人(可能来自几十所高校),你的抽样依据是什么?你凭什么说:3千多名教师的某种状态就能够代表207万教师?是概率抽样?还是非概率抽样?
你怎么确立“样本框”的?而总体、样本、样本框、概率抽样、非概率抽样——这些概念,同样也是做实证研究应知尽知的基础知识。

总之,根据我评阅硕博研究生学位论文的经验,你研究“高校教师社会服务参与及影响因素问题”,只可能做成个案研究,譬如《XX师范大学教师社会服务参与及影响因素研究》,“解剖麻雀”即可。如果你的博士学位论文题目是《高校教师社会服务参与及影响因素研究》,如果我是评阅人,这种论文无法通过——除非你做成普查式研究,就像国家做人口普查那样。如果要做成抽样研究,那么,如何科学抽样就是一个非常艰巨的问题。实践经验证明,对一所高校专任教师(2-4千规模)或者几所高校的专任教师进行科学抽样可行,甚至要做成普查式研究也有可能(虽然难度很大)。但是,你要研究中国高校教师并据此写成博士论文,没有可能。

以上看法,供你参考。

重庆大学鄢显俊 2024.12.10

附录、XX师范大学“高校教师社会服务参与及影响因素调查问卷”》


再建巴别塔
青灯夜读,湖畔沉思。精读人文社科经典文献,探讨新闻传播学术问题。
 最新文章