《慕慕的阅读笔记》慕明烨

113、《Bit by bit》第二章 第二章《观

　　一、大数据

　　1.大数据的定义
　　3V：volume variety velocity（大量、多样、高速）
　　比3V更重要的是5W：who what where when why

　　2.大数据资源的来源
　　（1）公司创建和搜集的在线数据
　　如推特数据、超市结账数据
　　案例：有人利用超市结账数据研究员工工作效率如何受到同伴的影响（Mas and Moretti 2009）
　　（2）政府创建的数据
　　即政府行政记录，包括税收、学校记录、出生死亡登记等。
　　案例：有人利用纽约市政府出租车计量器数据，研究劳动经济学中的争论（Farber 2015）
　　（3）注意
　　这两者的目的不同导致数据有所不同，例如公司的数据会更倾向于盈利。
　　“发现”数据和“设计”数据之间存在差异，发现的数据也是设计的，需要更多了解设计数据的人和流程。

　　二、大数据的10个共同特征

　　1.有利于研究的：
　　（1）海量性
　　大型数据集有利于三类研究：
　　①对稀有事件的研究
　　如语料库中词汇使用趋势的研究
　　②对异质性的研究
　　如利用4000万人的缴税记录研究美国各地区代际流动的异质性水平
　　③发现细微的差异
　　对⼀些政策制定来说，细微差异也可能变得很重要。例如，如果有两种公共卫⽣⼲预措施，其中⼀种⽐另⼀种稍微更有效⼀些，那么选择更有效的措施可能能挽救成千上万⼈的⽣命。
　　④注意
　　海量数据确实会减少随机误差出现的概率，但它又增加了系统误差出现的概率。
　　比如有人研究恐怖袭击后人们反应的高分辨率情绪时间表，数据量很多，规律很明显，但统计人员不知道数据是如何产生的。后来发现很多信息是由自动程序产生，删除这一程序就会使关键发现不再成立。

　　（2）持续性
　　优势：
　　①研究突发事件

　　如对盖齐公园示威活动的示威者研究，利用推特数据，搜索到三万人两年内的推文，评估什么类型的人更有可能参与盖齐公园示威活动，以及短期和长期的态度变化。
　　②实时评估
　　例如，利⽤社交媒体数据指导对⾃然灾害的应急响应（Castillo 2016），利⽤各种不同的⼤数据资源对经济活动进⾏实时评估（Choi and Varian 2012）。

　　劣势：如果追踪很长时间，这些系统就不适用了。因为很多⼤数据系统是不断变化的，这⼀过程称为漂移。

　　（3）不反应性
　　反应性指，当知道⾃⼰正在被研究⼈员观察时，⼈们就会改变⾃⼰的⾏为。
　　优势：
　　参与者⼀般不会意识到他们的数据正在被捕获，或者他们对这些数据采集已经很习惯了，所以也不会改变⾃⼰的⾏为。
　　例如种族歧视的词汇在搜索引擎中很普遍，有人利用这个特点衡量美国不同地区的种族敌意。
　　劣势：
　　不反应性并不能确保这些数据就是⼈们⾏为或态度的直接反映。人们还是会倾向于用更好的方式呈现自己。

　　2.不利于研究的
　　①不完整性
　　⼤数据通常缺少以下三种有⽤的信息：有关参与者的统计信息、在其他平台上的⾏为以及使理论构念具有可操作性所需的数据。
　　缺失使理论构念具有可操作性所需的数据是最难解决的。
　　比如想证明“越聪明的人挣钱越多”，就要测量智力，而测量智力有8种形式，没人能够精确测量智力的程序，难以用科学测验评定。
　　社会科学家将理论构念和数据之间的匹配程度称为构念效度。
　　当使⽤不是为研究⽽创建的数据时，构念效度问题就会变得更加难以解决
　　解决方案：
　　实际搜集⾃⼰所需的数据。
　　进⾏⽤户属性推断，即归属。
　　整合多个数据资源，即记录链接

　　②难以获取
　　原因：严格的法律、商业伦理限制和阻碍了数据的获取
　　但研究人员有时也能获取普通大众无法获取的数据，这需要研究⼈员兴趣、研究⼈员能⼒、公司兴趣以及公司能⼒。
　　这也会面临其他问题，例如：
　　无法与其他研究人员共享数据，这意味着其他研究成员无法扩展和验证研究成果。
　　提出的问题是有限的，因为公司不太允许开展有损其形象的研究。
　　合作关系至少会引发有关利益冲突的问题

　　③不具代表性
　　⼀些社会科学家习惯于处理从明确的总体（例如某个国家的所有成年⼈）中抽取的随机样本数据。这类数据被称作代表性数据，因为这些样本能够代表总体的属性。
　　不具代表性的数据对有些研究⽬标来说显然是不适⽤的，但对其他⼀些研究⽬标来说可能⾮常有⽤。
　　比如约翰斯诺对霍乱爆发的研究。很多人认为霍乱是由瘴气引起的，斯诺认为是饮用水传播。他对比了两家供水公司霍乱发病率，发现供水在污水下游的公司，其用户死于霍乱的概率是上游公司的10倍。
　　区分这两种问题的粗略的办法是，有些问题是关于样本内⽐较的，⽽有些则是关于样本外泛化的。

　　对于样本内比较和样本外泛化有两个需要注意的地方。
　　第一个是，使⽤不具代表性的⼤数据资源进⾏样本外泛化可能会产⽣很⼤的错误。
　　比如，在英国医生中，抽烟越多的人，死于肺癌的可能性越大。那么如果调查德国工人群体对这一结论的适用程度，就变成了吸烟和癌症之间联系机制的理解。
　　因此，从样本到抽取样本的⽬标总体的泛化基本上是⼀个统计问题，但有关在⼀个群体中所发现的规律到另⼀个群体的可移植性的问题则基本上不属于统计问题。
　　第二个问题是，⼤多数拥有不具代表性数据的研究⼈员并不会细⼼研究数据。

　　④漂移
　　许多⼤数据系统，尤其是商业系统，都处于持续变化中。这⼀过程称为“漂移”。

　　漂移有三个方面：
　　A.⽤户漂移（使⽤系统的⼈的变化）
　　如2012年美国总统大选期间，推特上推文基调变化，其实是发推文的用户改变了。

　　B.⾏为漂移（⼈们使⽤系统的⽅式的变化）
　　比如对2013年土耳其盖齐公园示威活动的研究，随着示威的演变，示威者改变了对标签的使用。比如一旦每个人都知道某个话题，就不会加标签，这让研究人员误以为有关示威的讨论减少了。

　　C.系统漂移（系统本⾝的变化）
　　比如脸书增加了对状态更新的字数限制，影响了人们所发的状态，进而影响了针对脸书状态更新的纵向研究。

　　⑤算法干扰
　　记录⾏为的数字系统都是经过精⼼设计的，⽬的是诱导特定⾏为，例如点击⼴告或发布⼀些内容。系统设计者的⽬标能将模式引⼊数据，这被称为算法⼲扰。
　　比如有人发现脸书上拥有20个好友的人异常的多，但原因是脸书会鼓励那些好友比较少的用户多交朋友，直到有20个朋友为止。

　　当在线系统的设计者意识到社会理论的存在并将其录⼊系统的运⾏⽅式中时，就会产⽣更为复杂的算法⼲扰。社会科学家称之为述⾏性。

　　所以大数据观察更像是在赌场中观察人们，赌场是精心设计过的场所，研究人员需要注意到这个背景。
　　⑥脏数据
　　许多⼤数据资源从来都不是为了⽤于研究⽽存在的，因此其数据也没有以⽅便清理的⽅式被搜集、存储和记录。因此清理大数据中的脏数据会比较困难。

　　⑦敏感性
　　公司和政府拥有的一些数据是敏感数据。
　　有关敏感数据，我们要注意的最后⼀点就是，即便它没有造成具体的危害，在未经当事⼈同意的情况下搜集该类数据也会引发伦理问题。

　　三、研究策略
　　1.寻找重要的或有趣的问题进⾏研究。
　　判断研究重要性的⼀个⽅法是看它是否对决策者的重要决定有显著影响，或是否能为其提供可观的信息
　　比如法伯对于出租车司机的研究，通过计时器的数据，探索司机更符合新古典主义的模式，还是更符合行为经济学模型。

　　2.预测和临近预测
　　预测是出了名的难，但临近预测试图“预测现在”，有时会很有用。
　　比如对于流行病的预测。谷歌通过搜索“治疗流感办法”的信息追踪流感，但这可能存在一定的问题。但是把疾病防控中心与搜索引擎数据资源结合起来，可以快速准确测量流感患病率（Jeremy Ginsberg，2009）

　　3.近似实验：两个策略
　　第⼀个策略是从现实世界中寻找刚好能随机（或⼏乎随机）研究某些⼈⽽不研究另⼀些⼈的事情。
　　根据⾮实验数据进⾏因果推断的⽅法之⼀是寻找现有事件，⽽该事件刚好能随机研究⼀些⼈⽽不研究另⼀些⼈。这样的情况被称作⾃然实验。
　　比如，1990年对于服兵役影响收入的研究。美国抽签征兵是随机的，随后研究人员安格里斯特选择美国社会保障管理局有关于就业收入信息的研究，得出结论是，退伍军人的收入比非退伍军人要低15%。
　　这一策略被归纳为：随机变化+不间断运行系统的数据=自然实验

　　第⼆个策略是对⾮实验数据进⾏统计调整，使其不受两类⼈在研究开展前就存在的差异的影响。
　　匹配和删减：研究⼈员需对⾮实验数据中的⼈进⾏两两配对，这两个⼈除了⼀个接受研究⼀个未接受研究以外，其他⽅⾯都要很相似。
　　利⽤匹配进⾏因果推断最⼤的问题是，其正确性
　　会受到匹配时未考虑因素的影响。