《慕慕的阅读笔记》慕明烨

115、《Bit by bit》第四章 第四章《实

　　一、什么是实验

　　1.实验和随机对照试验的差异
　　在⼀项实验中，研究⼈员会⼲预真实世界，然后测量结果。
　　在⼀项随机对照实验中，研究⼈员则是对⼀些⼈进⾏⼲预，⽽对其他⼈不进⾏⼲预，并且研究⼈员是通过随机的⽅式（例如抛硬币）来决定⼲预谁的。

　　2.举例：迈克尔·雷斯蒂沃和阿尔努·范德⾥杰特对于维基百科谷仓之星的研究。他们想要知道非正式同伴奖励对人们编辑维基百科的影响。

　　3.随机对照实验的4个主要组成部分：招募参与者、随机分组、实施处理和测量结果。

　　二、实验的两个维度：实验室-实地，模拟-数字
　　1.实验室-实地实验
　　分为纯实地、纯实验室，和介于两者之间的混合实验。
　　实验室实验能控制实验条件，实地实验能反映真实情况，数字实地实验则能在大规模范围内满足上述两点。
　　组织实验的其中⼀个维度是实验室–实地。社会科学的许多实验都是实验室实验，心理学研究大都采取这类实验。
　　但实验室实验在特殊环境之下，使一部分研究人员选择实地实验。

　　2.模拟-数字实验
　　（1）分为纯模拟实验、纯数字实验以及介于两者之间的各种混合实验。
　　•纯数字实验是利⽤数字基础设施招募参与者、随机分组、实施处理并测量结果的实验。
　　•不止是在线实验。在真实世界中，研究人员也可以利用电表测量850万户家庭的能源消耗。
　　•机器人MTurk可以为在线实验招募参与者。
　　•纯模拟实验就是这4个步骤都不会使⽤数字基础设施的实验。⼼理学中的许多经典实验都是纯模拟实验。

　　（2）优势
　　•数字实地实验可以拥有数百万名参与者
　　•更好的获得预处理信息，有针对性地招募参与者
　　•实现更长的时间跨度

　　（3）缺点
　　•不能被用来研究过去，精准度有局限，道德伦理问题

　　三、超越简单实验
　　1.简单实验
　　将范围狭⼩的问题作为出发点的实验称为简单实验
　　比如，将⽹站按钮从蓝⾊换成绿⾊能增加⼴告的点击率吗？
　　简单实验能够提供有价值的信息，但⽆法回答许多重要且有趣的问题，例如是否有⼈会对某⼀处理表现出⽐别⼈更为明显或更不易被察觉的反应；是否有另⼀个更为有效的处理⽅案；以及这⼀实验是否涉及更⼴泛的社会理论。

　　2.效度
　　效度是指某⼀实验的结果符合某个⼀般性结论的程度。
　　四种类型
　　•统计结论效度
　　•核⼼在于对实验进⾏的统计分析是否正确。

　　•内部效度
　　•核⼼是实验步骤是否被正确地完成。

　　•构念效度
　　•核⼼是数据和理论构念的匹配。

　　•外部效度
　　•核⼼是该实验的结果能否被推⼴到其他情境中。

　　3.处理效应的异质性
　　实验通常测量的是平均效应，但它对每个人产生的效应很可能是不一样的

　　4.原理
　　实验测量发生了什么，原理则解释这是为什么以及如何发生的。弄清楚原理的过程有时也被称作寻找中介变量。

　　找出原理的方法
　　•⼀种⽅法是搜集某⼀处理如何影响可能原理的过程数据。
　　•在实验中设置彼此稍有不同的处理。

　　四、使实验成为现实

　　1.利用现有环境开展实验
　　如在维基百科的“谷仓之星”展开实验

　　2.创建自己的实验
　　优势是可控性
　　比如创建游戏，或者创建更加贴近现实的实验环境
　　总的来说，创建⾃⼰的实验能让你有更多的掌控⼒，能让你构建出最有利于隔离研究对象的环境。

　　3.创建自己的产品
　　创建自己的产品是一种高风险、高回报的方法。但如果成功了，就能带来正反馈循环，使你能够开展与众不同的研究。
　　但是高风险，高回报，需要让自己的产品处于正反馈循环的状态。

　　4.与有能⼒的组织合作
　　合作可以降低成本、扩大规模，但也可能会改变你所能使用的参与者、处理和结果。
　　与有能⼒的组织建⽴合作关系需解决的核⼼挑战是找到⼀个平衡双⽅利益的⽅法，巴斯德象限是对此有帮助的⼀个⽅法（Stokes，1997）。
　　•与其认为有实际⽤途的研究与真正的科学研究存在冲突，不如将它们看作两个独⽴的维度。研究的出发点可以是（或不是）实⽤的，也可以是（或不是）寻求基本的认识。

　　两种合作方式
　　•与企业合作
　　•⼤型公司，尤其是科技公司，已为开展复杂实验开发了相当精密的、先进的基础设施。在科技⾏业，这类型实验通常被称为A/B测试，因为它们会⽐较A、B两项处理的有效性。为了增加⼴告点击率等⽬的，这些公司会利⽤其先进的实验基础设施来开展A/B测试，但这些设施也可以被⽤来开展促进科学认识的研究。

　　•与非政府组织合作
　　•合作并不总是要找科技公司，也并不总是要开展有数百万参与者的A/B测试。
　　•例如，亚历⼭⼤·科波克（Alexander Coppock）、安德鲁·格斯（Andrew Guess）和约翰·捷尔诺夫斯基（John Ternovski）就在2016年与⾮政府环保组织保育选民联盟（League of Conservation Voters）针对不同策略在促进社会动员⽅⾯的有效性合作开展了实验。研究⼈员利⽤该⾮政府组织的推特账号发送了公众推⽂和直接⾯向个⼈的、试图侧重于不同类型⾝份信息的消息，然后测量了这些消息中哪些消息在动员⼈们签署请愿书和转发有关请愿书的内容⽅⾯最为有效。

　　五、建议

　　1.适用于所有实验的建议
　　在搜集数据前应尽可能多地思考。
　　没有⼀个单⼀的实验是完美的，因此，你应该考虑设计⼀系列相辅相成的实验。有⼈将这⼀策略称为⽆敌舰队策略。也就是说，与其努⼒打造⼀艘庞⼤的战舰，不如建造许多优势互补的⼩型战舰。

　　2.针对数字时代实验设计的建议
　　（1）创造零可变成本数据
　　•开展大型实验的关键是将你的可变成本降低到零。实现这一点最好的方法是自动化和设计有趣的实验。
　　•数字实验可以有截然不同的成本结构，这也使得研究⼈员能够开展过去不可能开展的实验。

　　•固定成本与可变成本
　　•固定成本是指不会随参与者数量的变化⽽变化的成本。例如，在⼀项实验室实验中，固定成本可能就是租⽤场地和购买设备所产⽣的成本。
　　•可变成本则是指会随参与者数量的变化⽽变化的成本。
　　•⼀般来说，模拟实验是固定成本较低，可变成本较⾼，⽽数字实验则是固定成本较⾼，可变成本较低

　　•实验的可变成本主要产⽣于两个⽅⾯，即给研究助理的经济报酬和给参与者的经济报酬，我们可通过不同的策略将这两⽅⾯的成本降低到零。
　　•降低可变⾏政成本的⼀般策略是⽤计算机（便宜的）来代替⼈⼯（昂贵的）⼯作。粗略地说，你可以问⾃⼰：当我的研究团队中的每个⼈都在睡觉时，这个实验还能运转吗？如果答案是肯定的，那么你的实验在⾃动化⽅⾯是很出众的。

　　（2）将道德伦理融⼊你的设计：替代、改进和减少

　　•你可以通过用非实验研究替代实验、改进处理和减少参与者的数量，使实验更加人道。
　　•降低成本意味着道德伦理将成为研究设计中越来越重要的⼀部分。设计数字实验的研究⼈员还需要参考另⼀个来源的道德伦理理念：指导动物实验的伦理原则。

　　•罗素和伯奇《人道实验技术原则》提出了“替代、改进和减少”三个原则。稍加改动后也可以用来指导人体实验的设计。
　　•替代：如果可能的话，用侵害性更小的方法来替代实验。
　　•改进：改进处理，使其尽可能不具危害性。
　　•减少：尽可能减少实验的参与者。