到底要不要用反向题?

在不久前的一次问卷调查中,某些题目我采用了反向题(reverse coded items)的形式。但是在之后的数据分析中发现,使用反向题似乎会降低用户对所测量的指标的评价。这个结果不难解释——存在“默许偏差”,用户更倾向于同意所有题目或者作出积极的评价。

似乎反向题的使用带来了一些问题。那么到底要不要使用反向题呢?什么情况下要用反向题呢?

首先明确一下反向题的定义。并不是说包含否定的表述就是反向题。设计问卷的时候每一个题目都是为了测量某一个构念(construct),如果一个题目的高分代表该构念的水平较高,就是正向题;反之就是反向题。

为什么要用反向题

被试对问卷的反应是存在偏差的。其中比较关键的是:

  • 默许偏差(acquiescence bias),被试更倾向于同意所有题目或者作出积极的评价。
  • 社会赞许偏差(social desirability bias),被试倾向于按照社会所期许的方式作出反应。

由于反应偏差的存在,通过问卷收集到的数据不能完全反映客观现实。

除此之外,还可能存在一些比较 “粗心”的被试,不认真看题目做判断,而是根据某种习惯倾向作出回答。尤其是当问卷设计比较单调或重复时,被试持续看到相似度高的题目,会容易感到疲倦,因此也比较可能采取这种偷懒的方式。

因此在心理测量学领域中,很多学者开始建议正反向题混合使用的方法。其好处在于:

  • 能够帮助筛选出不认真作答的被试。如果不论是积极的还是消极的描述,被试全部都选择了认同,就可能存在不认真回答的嫌疑。
  • 正反向题混合会消耗被试更多的认知资源,因此可以让被试更加投入,减少习惯反应。
  • 不管是对默认好评还是默认差评的被试,正反向题混合都可以降低这种习惯反应的影响。

对反向题的质疑

反向题与正向题测量的常常不是同一种特质。很多量表进行因子分析的时候会发现反向题很容易自己聚合为一个因子。 比如,Widhiarso使用成就动机量表(Achievement Motivation Scale)测量了大学生的成就动机,在因子分析中发现有一个因子全部都是反向题[1]。这说明这个因子的出现可能是由于方法的相似性而不是题目内容的相似性。

反向题对测验的信效度的影响仍存在争议。Weems等发现采用正反向混合的题目会降低测验的信度[2]。Sandoval和Lambert发现在教师评定中将正向题混入反向题会提高信度和效度[3]。Schriesheim和Hill在大学生被试中发现使用反向题能提高测验效度但没有提高信度[4]。

反向题容易导致误解。相对于正向题来说,反向题的表述相对比较难理解。并且在题目含义的解释上可能存在问题,比如,我没有不开心≠我开心。

教育水平/语言能力是一个调节变量。教育水平和语言能力低的人在阅读反向题时可能存在困难,为测验带来了额外的影响因素。

我们无法确定被试是否正确理解了题目。被试确实理解了反向题吗?或者他们根本忽略了题目中的“不”之类的字眼,直接按照正向题的理解去做的评价?

反向题的使用建议

如果使用反向题,需要遵循下面的建议:

  • 反向题适用于需要求和的量表。因此对于每个题目测量一个独立维度的量表,不应使用反向题。
  • 平衡使用正向题和反向题。
  • 反向题目要尽量做到语义清晰,符合日常的语境。有观点认为反向题之所以常常成为独立的因子,可能就是因为有些反向题设置不符合自然语境。
  • 不要包含双重否定。双重否定会增大题目理解的难度。
  • 考虑目标被试的教育水平是否能够理解反向题。

不一定要用反向题

使用反向题是为了减少反应偏差,但是如上所述使用反向题也有很多弊端,通过其他方式可能也能达到减少反应偏差的目的。

  • 使用长度较短的量表。对于一个单维的构念,用3-8个题目去测会比较好[5][6],这样被试比较不容易产生疲倦。

  • 对题目顺序随机。不让被试看到题目呈现出相似的模式,就不会太掉以轻心,会更诚实地回答问题。适用于答案是同样类型的时候,比如全部都是5点李克特量表时。但是不要把不同选项类型的题目混合在一起,这会让被试感到混乱。


参考文献
[1] Widhiarso, W. (2012). Reverse scored items, should we use it on psychology scale or not?. Social Science Electronic Publishing.
[2] Weems, G. H., & Onwuegbuzie, A. J. (2001). The impact of midpoint responses and reverse coding on survey data. Measurement & Evaluation in Counseling & Development, 34(3), 166-176.
[3] Sandoval, Jonathan|Lambert, Nadine M. (1978). Reliability and validity of teacher rating procedures in the assessment of hyperactivity as a function of rating scale format. Behavior Rating Scales, 30.
[4] Schriesheim, C. A., & Hill, K. D. (1981). Controlling acquiescence response bias by item reversals: the effect on questionnaire validity. Educational & Psychological Measurement, 41(4), 1101-1114.
[5] Bagozzi, Richard P. and Hans Baumgartner (1994), “The Evaluation of Structural Equation Models and Hypothesis Testing,” in R.P. Bagozzi, editor, Principles of Marketing Research, Blackwell Publishers, Cambridge, MA (1994), pp. 386-422.
[6] Green, Paul E. and Vithala R. Rao (1970), "Rating Scales and Information Recovery: How Many Scales and Response Categories to Use?" Journal of Marketing, 34 (July), 33-39.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,198评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,663评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,985评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,673评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,994评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,399评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,717评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,407评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,112评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,371评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,891评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,255评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,881评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,010评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,764评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,412评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,299评论 2 260

推荐阅读更多精彩内容

  • 2016-04-09 中国心宇心理网 三级心理测验技能 1.AIS—RC适用于(16)岁以上的被试者 2.韦氏智力...
    暖阳_1332阅读 3,019评论 1 1
  • 1. 前言: 这篇文章是个人对当前可用性测试中常用标准化量表的学习和整理。整体架构参照Sauro and Lewi...
    IvanMu阅读 26,854评论 6 69
  • 1. 简述相关分析和回归分析的区别和联系。 回归分析和相关分析都是研究两个或两个以上变量之间关系的方法。 广义上说...
    安也也阅读 8,332评论 0 3
  • PM:产品经理,Product Manager CPO:产品总监,Chief Product Officer FE...
    IvanHung阅读 325评论 0 3
  • 刚刚进入大学第二年,总想着好好努力学习,重新开始,然而大一遗留下来的历史问题~机械制图补考,一切都让我无比迷茫和纠...
    SherryYang2016阅读 141评论 0 0