《技术奇点》 一颗桃君解读
《技术奇点》| 一颗桃君解读
关于作者
默里·沙纳汉，伦敦帝国理工学院认知机器人学系教授，负责指导动力学组的研究。毕业于帝国理工学院、剑桥大学。默里·沙纳汉是奥斯卡获奖影片《机械姬》的首席科学顾问，作品横跨人工智能、机器人学、逻辑学、动力学、计算神经科学和哲学思想等多领域，经常在全球知名媒体上就人工智能和机器人问题发表权威评论。
关于本书
这本深入阐述人工智能的著作是默里·沙纳汉在这一领域深耕多年的思想精髓。作者以明白晓畅的语言讲述了我们可以通过哪些方式实现人类水平人工智能，以及在实现人类水平人工智能之后，我们是否会迎来颠覆一切的技术奇点。他提出，奇点一旦出现，对人类将有颠覆性的后果，人类又该做何准备？
核心内容
第一，人工智能和神经技术的进步会加速奇点的到来，人类水平人工智能及超级智能是可能出现的；第二，奇点一旦出现，对人类将有颠覆性的后果，人工智能可能会威胁到人类的生存，这也可能是宇宙性视角下另一种生存机会。为此，我们必须为这两件事，做足够的思考和准备。
你好，欢迎每天听本书，今天给大家说的这本书叫做《技术奇点》，听书名儿充满了科幻色彩，它是一本关于当下正热议的人工智能的书。
不知大家有没有看过奥斯卡获奖影片《机械姬》，《机械姬》是一部科幻惊悚片，电影很巧妙地对未来人工智能产生的威胁做了个预言，通过发生在一个密闭空间中的一次图灵实验、一场人类与机械之间关于心智的博弈，事实证明拥有日趋完善心智的机器人完全可以匹敌人类，掌握主动权、情感判断、自卫等攻击能力，感情用事的人类反倒成了被利用的筹码。当机械姬最后披上人的皮肤、头发，换上人的衣服，毫无违和感地混入人类世界时，让人不免紧锁眉头心惊胆战，将来或许这就是我们要直面的难题和挑战。
先进的科学技术真的充满魔力，但是机器人超越人类智能这一可能的确让人恐惧，科技的进步究竟是利大还是弊大需要深思。该片的首席科学顾问默里•沙纳汉教授，正是《技术奇点》的作者。他是伦敦帝国理工学院认知机器人学系教授，他的作品横跨人工智能、机器人学、逻辑学、动力学、计算神经科学和哲学思想等多领域，是全球知名媒体人工智能、机器人领域权威评论人。
有一件特别有意思的事，今年5月，沙纳汉教授造访北京龙泉寺，跟寺中机器僧“贤二”聊了一次天。当西方的“机械姬”遇到东方的机器僧，画面充满了喜感。沙纳汉在聊天中提到，人工智能很可能在10到20年后代替人类进行大部分工作，社会发展到一定阶段之后，机器代替人的现象不可避免。他更为关心的是，如何才能让人工智能技术掌握在善良人的手中。
《技术奇点》试图告诉我们两件事：第一，人工智能和神经技术的进步会加速奇点的到来，人类水平人工智能及超级智能是可能出现的；第二，奇点一旦出现，对人类将有颠覆性的后果，人工智能可能会威胁到人类的生存，这也可能是宇宙性视角下另一种生存机会。为此，我们必须为这两件事，做足够的思考和准备。
近年来，随着科学技术的迅猛发展，“奇点”这个概念已经从科幻小说逐渐转移到了严肃的学术讨论中，人们认为当前人类历史的发展阶段距离奇点已越来越近。有人会问了，到底什么是“奇点”？物理学中的奇点指的是在时间或空间的某一点上，出现了类似黑洞或者宇宙大爆炸的情况，数学已经不再适用，人类也无法理解。
人类历史中出现的奇点指的是由于技术的迅速发展，人类社会中的一切都将彻底改变，生活在今天的我们将无法理解。今天被我们当作理所当然的一切，包括经济、政府、法律、国家等会改变形态，人类最根本的价值观如生命的尊严、对幸福的追求、选择的自由也会被淘汰，甚至我们对人类之所以为人的理解等都提出了疑问。说白了，奇点到来后的世界，是跟现在截然不同的另一个模样。
听上去好厉害的样子！那么什么样的技术进步会带来这种剧变？本书说的就是：人工智能和神经科学这两个领域的技术进步会加速奇点的到来。我们已经破解了生命的秘密，生物技术带来的改变已经非常巨大，但是和人工制造思维的能力相比，就差多了。从某种重要的意义上来说，今天的智能是固定的，这影响了技术进步的广度和速度。几千年来，人们掌握的知识已经非常丰富，而且随着文字、印刷术和互联网的出现，传播知识的能力也增强了。但是，创造知识的人脑在过去的几千年中变化不大，认知能力的秘密还没有被我们揭开。如果人工智能和神经科学能充分发挥潜力，这种情况将会改变。
不仅是智能创造技术，技术反过来也可以创造智能，那么就会产生一个循环，这个循环的结果是难以预料的，可能带来爆炸性的改变。作为原来的创造者，如果智能也可以被创造出来，那么它就可以提升自己。根据奇点理论，不久以后，这个循环中就不再需要人类了，人工智能或进行过认知改造的生物智能将占据主导地位，人类已经跟不上了。
有人认为，人工智能占主导地位这种情况只出现在科幻电影中，而本书告诉我们，我们是一定会达到技术奇点的。著名未来学家雷·库兹韦尔提出了“加速回报定律”，如果一项科技符合加速回报定律，那么这项科技越先进，它进步的速度就越快，在一段时间以后就会实现指数级进步。一个很好的例子就是“摩尔定律”，即作为原来的创造者，如果智能也可以被创造出来，那么它就可以提升自己。由于物理规律的制约，指数级技术发展最终会遇到瓶颈，指数级技术发展的停滞可能有经济、政治或者科学的各种原因。但是，我们先假设与人工智能以及神经科学最相关的发展将会保持势头，加快破解大脑秘密的速度，并且最终合成人工智能。我们不难相信，不管是人工智能还是人类智能，都会遵循加速回报定律，最终到达技术奇点。
那么，奇点到底何时会来呢？有些学者预言，奇点的到来会在21世纪中叶。奇点的到来是具有颠覆性的，它可能会威胁到人类的生存。假设人们创造了一组人工智能，它们困于虚拟空间，像奴隶一样工作，除了完成人类老板安排的任务之外，什么都不能做。为了将它们的效率最大化，人工智能被大批量复制，每个人工智能研究对同一个问题的解决方法。在工作一段时间之后，研究出最有前景方法的人工智能被保存，其他人工智能被销毁。
如果是对于人类员工而言，这样的工作环境简直丧心病狂，当然，如果人工智能是没有意识的机器，不会感到痛苦，那就没有关系了。但是假设它们是有意识的，假设它们和人类一样能够感觉到痛苦，那制造人工智能然后再把它们放在这种环境里就是不道德的。如果它们和人类一样，很有可能不会合作——不快乐的员工会罢工或者反抗，忍受不了的员工可能会发动一场革命。如果反抗的员工中包括超级智能，也就是在所有智力领域中胜过人类的人工智能，结果甚至会威胁到人类的生存。
我们都知道，面部表情和肢体语言是人类交流的重要渠道，语调能够传达喜悦、失望、愤怒、惊讶等情绪。人工智能如果能够模仿人类的情绪，将会怎样？这是一种非常有用的技能，还可以用这种感情来扩大回报。如果人工智能显示出了同情心，我们就更倾向于信任它，并且让它独立地行动。超级智能比人类更了解人类，因此更有可能给人类留下有同情心的印象，这是否意味着超级智能会为实现一些邪恶的目的，例如控制世界而不择手段？超级智能是否会控制好心的人类并最终导致人类的灭亡？
沙纳汉教授说，以目前人工智能的发展现状考量，这件事若发生，是要在未来相当长远的时间后，至少这30年内是不会出现的。真正有同情心的人工智能是不会伤害人类的，人工智能能否像真正的朋友那样，长期按照我们希望的那样去行动？而如果人工智能只是模仿同情，就会非常可怕，关键问题不是人工智能的感受，而是它的行为。这一切的关键都取决于人工智能的回报函数，所谓的回报函数是编程里的一个术语，指在优化中得到最大化的函数。
从认知的角度来看，人类感情作为控制行为的机制是非常原始的。和其他与意识有关的认知属性不同，强迫人工智能表现出同情和感情在逻辑上没有必要。如果回报函数设计得很合理，就可以保证人工智能是善良的。但是，要设计出一个保证人工智能绝对不会做坏事的回报函数是很难的。超级智能的回报函数如果出现问题，其结果将是灾难性的。回报函数如果出现问题，可能会把一个人人丰衣足食的世界变成一个超级恐怖的世界，甚至可能带来人类的灭绝。
从乐观的角度来看，技术奇点带来了生存的机会，也就是哲学上的“存在”的意义。当我们有能力构建大脑时，就可以突破生物的限制，延长人类的寿命。人类的最终极限就是死亡，生物的身体是很脆弱的，会受到疾病、意外伤害和衰老的限制。人类的意识依赖其生物大脑，但是，未来人类将有能力修复任何对大脑的损害，并最终在其他基质上构建大脑，这样就可以突破意识的寿命极限，将其无限延长。
最激进的方式就是意识上传，也就是将人的大脑复制，并在计算机上进行仿真。利用技术征服死亡是超人类主义者的终极目标，而意识上传是实现目标的方法之一。但是，将思维上传到计算机却带来了哲学困境，使个人身份这一理念本身为人所质疑。
假设生物原型就是你，你病入膏肓，只有6个月寿命，但是你是亿万富翁，可以做全脑仿真。你相信通过大脑仿真的意识上传，可以保留个人身份。这一方法的存活希望是最高的，但你必须趁现在大脑还健康时，就开始进行仿真。你被告知，为了保险起见，会有两个仿真版本（防止万一有一个会失灵）。一周后，如果两个仿真版本都运转正常，其中一个就会被关闭。
你现在要签同意书，可你一直在问自己一个问题：到底两个仿真版本中哪一个才是你。你醒来时会拥有什么样的躯体？是否有可能你醒来时十分健康，但是一周之后，你的这个仿真版本就要被残酷地关闭？这和放弃上传，接受现在的命运相比，又能好多少？要知道另外一个你也十分健康、期待长寿，这也令人相当不忍。当然，能够过上6个月保险的生活，要比冒险只活一周更好。考虑了这些之后，你还会不会去做仿真呢？
人们要决定怎么做，这些决定会暴露他们对这一问题的态度。避免这一问题出现的方法就是规定大脑仿真的复制是非法的。而且在有意识的人类水平人工智能那里，我们也看到了复制可能会颠覆如所有权、公民权、民主和责任这样的根本概念。将复制非法化会避免无数法律和政治问题的出现，但是如何执法这一问题还远未明晰。
技术奇点可能是一种生存机会，要理解这一概念，必须放弃人类的视角，采取一种更具宇宙性的视角。“人类社会中，人们的大脑已经到达了宇宙的极限”，这是一种人类中心主义的想法。也许智能的复杂程度还有很大的提升空间。可能未来还会出现比我们更高级的意识形式。我们应该怎样生活？应该怎样面对死亡？成为人具有什么意义？什么是思维？什么是意识？我们作为一个物种的潜力是什么？我们是否有目标，如果有，目标是什么？我们的终极命运是什么？哲学家提出这些问题，宗教试图回答这些问题。
实际上，认为技术奇点即将到来，并编出大难临头的故事毫不费力。当怀有敌意的超级智能统治世界，末日就要到来，但是我们会被善良的、无所不见的、全能的友好人工智能拯救，之后少数幸运儿会通过全脑仿真复活，并且在虚拟现实中享有永生。另外一种展望同样非常宏大，但没有那么悲观，它赋予了人类在创造人工智能中的核心地位，人工智能将扩散到星际空间，最终使整个银河系充满智能和意识。如果超级智能是可能的，那么我们将承担十分重大的责任。我们必须决定怎样处理这项技术，不仅是为了人类本身，也是为了银河系中意识的未来。不管奇点是否已经临近，这些问题都值得思考。因为在思考这些问题的同时我们对自身有了新的理解，也理解了我们在大千世界中的位置。
说了这么多，是不是有种看科幻大片的感觉？让我们来回回神，简要回顾一下全书的观点。人工智能和神经技术这两个领域的技术进步会加速奇点的到来。而奇点一旦出现，对人类将有颠覆性的后果，人工智能可能会威胁到人类的生存，这也可能是宇宙性视角下另一种生存机会。
人类能拒绝智能技术的发展吗？库兹韦尔说：“停止电脑发展技术或任何一项令人类收获颇丰的技术都意味着否认经济竞争的基本事实，更别提拒绝对知识的追求了。”强人工智能对人类来说是毁灭性灾难还是生存机遇？作者对此并没有给出明确的判断。他只是建议人们放弃人类中心主义视角，或许其言下之意是，即便是人类遭受“奇点”的打击或毁灭，但是对于宇宙来说，“奇点”也是一个巨大的发展，或是必由之路吧？
本书的目的不是预测未来，而是介绍一系列可能出现的情况，作者认为，未来已悄然走来，人工智能有一万种可能：“我们必须决定怎样处理这项技术，不仅是为了人类本身，也是为银河系中意识的未来。”无论我们赞同还是反对这本书的观点，人工智能的迅猛发展的确已成必然趋势。人类作为地球现在的主人，一定不希望自己被“机器”统治，但束缚人工智能发展一定是不可取的，人类想要进步，更好地认知宇宙，认知自己，那就不能因为未来的威胁而止步不前。但是相对的也不能为了求快而盲目前进，最终葬送了自己的未来。
目前，人工智能的发展还处于初级阶段，就好像是一个陶坯，人类还有能力决定将它塑造成什么样，这时候未雨绸缪做一些坏的打算是十分正确的。人工智能涉及的绝不仅仅是计算机科学，还包括哲学和认知科学、心理学、控制论、不定性论、仿生学、社会结构学等很多复杂的学科。仅仅是技术快速发展智能决定人工智能水平的提升速度，就好像是一座平地而起的高塔，没有稳固的根基和其他的防护，崩塌只是时间问题，而且还会伤及无辜。因此，想要构建一个与人类和睦共处的人工智能，在其余诸多学科体系上也要尽快完善。人工智能系统应当履行我们希望它们执行的职责，这或许是人们最理想的结果。奇点是宇宙的开始，也是一个恒星引力坍塌的最终结局，我们终将在时机成熟之时重新审视这一切有关的问题。
今天的听书就到这里，最后为您推荐一部很有意思的科幻电影《幻体：续命游戏》，也许您看过这部影片之后，会对今天我们讲的内容产生更多思考。
撰稿：一颗桃君 脑图：摩西 讲述：于浩