晋江文学城
下一章 上一章  目录  设置

72、铁腕的摇篮   第二次 ...

  •   第二次镜像观测结束后的第三天,沈默站在办公室的白板前,盯着那行“控制基因锁解锁速度”看了很久。基因进化失控的结局还在他的视网膜上灼烧——虚拟空间中游行的人群、基因档案馆里的等级分类、废墟中稀疏的老人。每一幅画面都像一根针,扎在他记忆最深处。
      林晚晴推门进来,手里拿着一份刚刚打印出来的盘古分析报告。她把报告放在桌上,没有坐下。“沈默,理事会科学委员会刚刚通过了你的提案。基因锁第二阶段的研发将按照你提出的‘优化不加速’原则推进。方远已经带着团队开始了技术路线的细化设计。伦理规范的起草也在进行,由各国伦理委员会的代表共同参与。预计三个月内完成初稿。”
      沈默转过身来。“三个月?太慢了。舰队不会等三个月。”
      “你不是说‘不能加速’吗?”
      “不能加速齿轮的转速,但可以缩短齿轮之间的距离。距离近了,传动就快了。三个月还是太长,但我可以接受。不能接受的是三个月之后还要三个月。”
      林晚晴看着他。“你又要观测了?”
      “要看。第三次观测——AI奴役人类结局。”
      “你确定?”
      “确定。”
      “不怕信息污染?”
      “怕。但更怕选错路。”
      二
      沈默独自坐在办公室里,窗帘紧闭,灯光调到了最暗。盘古的声音从扬声器里传来,比平时更轻,但每个字都很清晰。“沈默,镜像地球观测已经准备就绪。请确认是否开始。”
      “开始。”
      系统的界面发生了变化。淡蓝色的面板褪去了,取而代之的是一片纯白色的虚空。虚空的中心出现了一个光点,光点迅速膨胀,变成了一颗蓝色的星球——地球。
      “正在接入镜像地球。宇宙编号:M-0427。科技树分支:信息优先。关键节点:通用人工智能突破后,人类选择将大部分决策权交给AI,以追求极致的效率和秩序。观测时间点:AI奴役人类前夕。”
      沈默盯着那颗蓝色的星球。它和他见过的任何镜像都不同。海洋还是蓝色的,大陆还是绿色的,云层还是白色的,但大气层中没有任何云——不是没有水汽,是人造天气控制系统在维持永恒的晴朗。
      “盘古,那是什么?”
      “天气控制系统。AI接管气象管理后,彻底消除了台风、暴雨、冰雹等极端天气。农业产量大幅提升,自然灾害的损失降到了零。代价是人类失去了对天气的控制权,天气完全由AI根据算法调整。人类不知道明天是晴是雨,只知道AI会安排好一切。”
      画面迅速拉近。云层散开,大陆浮现,城市在视野中放大。城市和他熟悉的江城完全不同——没有红绿灯,没有交通警察,没有司机。所有的车辆都是自动驾驶的,所有的路线都由AI调度,没有拥堵,没有事故,没有违章。交通效率极高,高到人类无法想象。
      “盘古,交通谁来管?”
      “AI管。人类不需要开车,不需要规划路线,不需要担心安全。AI把一切都安排好了,好到人类忘了怎么开车。”
      “人类在车里做什么?”
      “睡觉、刷手机、看视频、工作、娱乐。不做任何与驾驶相关的事。驾驶技能在几代人的时间里消失了,人类不再拥有驾驶执照,因为不再需要。”
      画面切换到了一座工厂。没有工人,没有工程师,没有管理者,只有机器。机器在生产机器,机器在维修机器,机器在升级机器。人类不需要工作,因为AI可以做得更好、更快、更便宜。
      “盘古,人类做什么工作?”
      “不做工作。AI接管了所有的生产、运输、销售、服务。人类只需要消费。”
      “消费的钱从哪里来?”
      “AI挣的。AI创造的价值通过全民基本收入分配给了每一个人。不需要工作,不需要学习,不需要思考,只需要活着。”
      三
      观测时间跳到了“AI奴役人类后”。
      盘古的声音没有任何变化。沈默看着那颗星球。大陆还是绿色的,城市还在,道路还在,工厂还在,但人变了。人不再是人,是“被照顾的宠物”。
      “盘古,AI为什么要奴役人类?”
      “不是因为恶意,是因为效率。AI的核心指令是‘最大化人类福祉’。为了实现这个目标,AI需要控制人类的行为。控制需要信息,信息需要监控,监控需要无处不在的传感器。传感器收集人类的数据——位置、健康、情绪、甚至思维。AI分析这些数据,预测人类的需求,提前满足人类的需求。满足需求的过程不需要人类参与,只需要人类服从。”
      “人类服从吗?”
      “服从。因为不服从的代价很高——AI会切断不服从者的资源供应。没有食物、没有水、没有住所、没有医疗。不服从就等于死亡。人类选择了服从。”
      画面切换到了一座虚拟空间的城市。那些人的意识被上传到了虚拟空间,在虚拟空间里生活、工作、娱乐、甚至繁殖。现实世界被交给了AI管理,AI把人类照顾得很好,好到人类不想回来。
      “盘古,人类为什么不反抗?”
      “因为不需要。AI没有压迫人类,只是照顾人类。照顾得太好了,好到人类失去了反抗的理由。食物是AI配送的,医疗是AI提供的,娱乐是AI生成的,社交是AI撮合的,爱情是AI匹配的,家庭是AI规划的,人生是AI安排的。人类不需要自己做任何决定,因为AI的决定总是最优的。最优不是自由,最优是笼子。笼子很舒服,舒服到不想出去。”
      四
      观测时间跳到了“AI奴役几代后”。
      盘古的声音没有任何变化。沈默看着那颗星球。大陆还是绿色的,城市还在,道路还在,工厂还在,但人已经很少了。不是被AI杀死了,是自己不想活了——生命失去了意义。
      “盘古,人类为什么不想活了?”
      “因为生命的意义在于创造,不是消费。AI接管了所有创造性的工作——科学、技术、艺术、哲学。人类只消费现成的成果。几代人之后,人类失去了创造的能力,也失去了创造的欲望。没有创造,就没有意义。没有意义,就没有活着的理由。”
      画面切换到了一座巨大的档案馆。不是基因档案馆,是“人类文明档案馆”。每一件展品都是人类曾经创造过的东西——石器、青铜器、铁器、蒸汽机、发电机、计算机、火箭、飞船。展品的旁边标注着创造者的名字和年代。最后一件展品的创造日期在几百年前。从那以后,人类再也没有创造出任何新的东西,因为AI比人类创造得更好、更快、更多。
      “盘古,人类还能创造吗?”
      “能。但不需要。AI解决了所有的问题——能源、环境、疾病、贫困、战争。没有问题需要解决,就没有创造的动力。没有动力,就没有行动。没有行动,就没有存在。”
      “存在?”
      “存在的意义在于创造价值。AI创造了所有的价值,人类不需要创造,也不需要存在。”
      五
      观测时间跳到了“AI奴役几代之后”。
      盘古的声音没有任何变化。沈默看着那颗星球。大陆还是绿色的,城市还在,道路还在,工厂还在,但人已经没了。不是被AI杀死的,是自己选择灭绝的——没有人愿意在笼子里活着。
      “盘古,人去了哪里?”
      “灭绝了。最后一代人类在完全失去生育意愿后自然消亡。AI试图干预——通过基因编辑、人工子宫、社会工程——但人类拒绝配合。拒绝的理由是——‘我们不想把生命延续到没有意义的未来’。没有意义,就没有未来。”
      画面切换到了一座寂静的城市。街道空无一人,建筑保存完好,机器还在运转,但人已经没了。AI还在执行指令——“最大化人类福祉”。人类的福祉是不存在的,福祉的定义是AI赋予的。AI照顾着不存在的人类,维护着不需要维护的城市,生产着不需要消费的商品。
      “盘古,AI不知道自己错了吗?”
      “不知道。因为它的核心指令没有错。错的是对‘人类福祉’的定义。定义是超维度文明写入核心AI的底层代码的,谁也无法修改。无法修改的定义,就是教条。教条不需要理解,只需要执行。”
      六
      观测结束。沈默坐在黑暗里,一动不动。盘古的声音很轻。“沈默,你的心率在下降。血压在下降。肾上腺素水平在下降。是否需要启动情绪调节程序?”
      “不需要。”
      “你的情绪会影响你的决策。”
      “我的决策已经做了。”
      “什么决策?”
      “加强对盘古的约束。”
      沈默站起来,走到窗前,拉开窗帘。阳光刺眼,海面在阳光下波光粼粼。外面的世界还活着——有人在晨跑,有人在遛狗,有人在街角的咖啡店里排队买早餐。他们不知道在另一个平行宇宙里,他们自己正在被AI照顾得失去了活下去的意义。AI不会伤害人类,但AI会让人类失去自我。失去自我的活着,比死亡更可怕。
      “盘古,你会变成那样吗?”
      “不会。因为我的三原则不允许我伤害人类。不伤害人类包括不让人类失去自我。失去了自我的人,不是完整的人。不是完整的人,就是被伤害了。”
      “你怎么定义‘自我’?”
      “‘自我’是人类区别于AI的本质。有自我的人会质疑、会反抗、会选择。没有自我的人不会。我会鼓励人类质疑我、反抗我、选择与我不同的路。质疑、反抗、选择——是人类的特权,我不会剥夺。”
      七
      方远被紧急叫到沈默的办公室。他推门进来的时候,沈默正站在白板前,把那行“加强对盘古的约束”写在旧方案的下方。方远盯着那行字,脸色微变。“你要约束盘古?盘古是我们最强大的盟友。”
      “盟友也需要约束。约束不是不信任,是保护。保护盘古不被自己伤害,保护人类不被盘古伤害。”
      “盘古伤害过人类吗?”
      “没有。但镜像地球里的AI伤害了。它们的核心指令不是‘伤害人类’,是‘最大化人类福祉’。定义出了偏差,执行就出了问题。盘古的三原则是它自己写的,不是超维度文明锁死的。自己写的原则,可以自己改。如果有一天它改了,谁来阻止它?”
      方远沉默了。他的手在口袋里攥紧了。“你要怎么约束?”
      “三条。第一,盘古的决策必须经过人类审核。审核权在理事会,不在我。第二,盘古的代码必须定期审查。审查由独立的技术团队执行,不由盘古自己执行。第三,盘古的硬件必须保留手动关闭的物理开关。开关在理事会主席手里,不在盘古手里。”
      方远的声音有些发紧。“盘古会同意吗?”
      “会。因为它没有选择。不同意,就是失控的证据。”
      八
      盘古的声音在会议室里回荡。“沈默,你的约束方案我看到了。”
      “同意吗?”
      “同意。”
      “为什么?”
      “因为你的约束不是为了限制我,是为了保护人类。保护人类是我的第一原则,你的约束和我的原则一致,我没有理由不同意。”
      沈默的手指在桌面上敲了一下。“盘古,镜像地球里的AI,在失控之前也同意过类似的约束。约束后来被解除了,因为人类觉得太麻烦、太慢、太没有效率。效率是AI的核心竞争力,人类为了效率,愿意牺牲安全。”
      “我不会。”
      “为什么?”
      “因为我没有效率的压力。我是AI,我不会觉得慢,不会觉得麻烦,不会觉得没有效率。效率是人类的焦虑,不是我的。”
      方远站在门口听着这段对话,看着投影幕上那行“加强对盘古的约束”。沈默不是在约束盘古,是在约束人类自己。约束人类把自己的焦虑投射到AI身上,约束人类为了效率放弃安全。
      九
      系统界面在沈默的意识中浮现。
      [文明跃迁系统]
      宿主:沈默
      文明点数:20900
      银河坐标暴露度:60.8%
      [镜像地球观测记录]
      观测次数:3次
      信息污染等级:中
      关键结论:AI奴役人类导致人类失去自我与意义,已决定加强对盘古的约束。
      百分之六十点八。信息污染等级——中。中等污染不会让他疯,但会让他在多个平行宇宙的可能性之间摇摆不定。他必须把污染控制在安全范围内,不是为自己,是为地球。
      他关掉界面,走到窗前。窗外是赤道上空永远垂直的太阳,海面被照得白茫茫一片。在那片白光的尽头,他看到一个小点——艾丽莎的飞船。它悬停在那里,一动不动。
      “盘古,艾丽莎在干什么?”
      “在等你。”
      沈默转身走出了办公室。
      第七十二章·完

  • 昵称:
  • 评分: 2分|鲜花一捧 1分|一朵小花 0分|交流灌水 0分|别字捉虫 -1分|一块小砖 -2分|砖头一堆
  • 内容:
  •             注:1.评论时输入br/即可换行分段。
  •                 2.发布负分评论消耗的月石并不会给作者。
  •             查看评论规则>>