查看原文
其他

因果推断简介之辛普森悖论

来源:MBA智库百科、人人都是产品经理、


下面我们来通过一个例子进行了解:


一所美国高校的两个学院,分别是法学院和商学院,新学期招生。人们怀疑这两个学院是性别歧视。具体数据如下:




根据上述两个学院的数据,直观上看女生在两个学院都被优先录取,即女生的录取率会比较高。现将两个学院的数据汇总:




在汇总中,女生的录取率反而比男生低。


这个例子就是典型的辛普森悖论,亦有人译为辛普森诡论,为英国统计学家E.H.辛普森(E.H.Simpson)于1951年提出的悖论,即在某个条件下的两组数据,分别讨论时都会满足某种性质,可是一旦合并考虑,却可能导致相反的结论。 简单的将分组数据相加汇总,是不能反映真实情况的。在我们的日常生活中,辛普森悖论所导致的误解和偏差无处不在。



另外还有一个很有名的例子 Pearl (2000)。



上表中,第一个表是整个人群的数据:接受处理和对照的人都是 40 人,处理有较高的存活率,因此处理对整个人群有 “正作用”。第二个表和第三个表是将整个人群用性别分层得到的。


奇怪的是,处理对男性有 “负作用”,对女性也有 “负作用”。一个处理对男性和女性都有 “负作用”,但是他对整个人群却有 “正作用”:悖论产生了!


由于有辛普森悖论的存在,观察性研究中很难得到有关因果的结论,除非加上很强的假定。比如,一个很经典的问题:吸烟是否导致肺癌?由于我们不可能对人群是否吸烟做随机化试验,我们得到的数据都是观察性的数据:即吸烟和肺癌之间的相关性 。此时,即使我们得到了吸烟与肺癌正相关,也不能断言 “吸烟导致肺癌”。这是因为可能存在一些未观测的因素,他既影响个体是否吸烟,同时影响个体是否得癌症。比如,某些基因可能使得人更容易吸烟,同时容易得肺癌;存在这样基因的人不吸烟,也同样得肺癌。此时,吸烟和肺癌之间相关,却没有因果作用。


为什么发生辛普森悖论?
之所以发生Simpson悖论,是因为数据的分解(例如,将其拆分为子组)可能导致某些子组与其他子组相比具有不平衡的表示形式。这可能是由于变量之间的关系,或者仅仅是由于数据已被划分为子组的方式。


参考文献:

Bickel, P. J. and Hammel, E. A. and O’Connell, J. W. (1975) Sex bias in graduate admissions: Data from Berkeley. Science, 187, 398-404.

Pearl, J. (2000) Causality: models, reasoning, and inference. Cambridge University Press。

Rosenbaum, P.R. and Rubin, D.B. (1983) The central role of the propensity score in observational studies for causal effects. Biometrika, 70, 41-55.

Rothman, K., Greenland, S. and Lash, T. L.  (2008) Modern Epidemiology. Lippincott Williams & Wilkins.


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存