法律缺位状态下的人工智能狂飙突进

尘香如故

       江晓原：人工智能最近看起来好像有点狂飙突进的光景，至少从媒体上看起来是这样。与此同时，警告、担忧的声音不是没有，有些还是由霍金、盖茨、马斯克之类的人物发出的，但大部分公众受到科学主义盲目乐观情绪影响，仍然在憧憬着人工智能快速发展将带给我们的“美好未来”。

面对这样极度危险的现实，仅仅发出警告当然是不够的，我们还需要冷静的、务实的、和现实生活能够直接衔接的思考。希望这样的思考，能够让狂热的盲目乐观情绪稍稍降一点温，让我们能够在人工智能带给我们的灾难不可收拾之前，尽可能多争取到一点的时间来做准备。

这一组“独角兽法学精品”丛书中的“人工智能”系列，已出三种，集中讨论和人工智能有关的法律问题，这非常有价值。因为面对人工智能的狂飙突进，目前人类社会现有的法律严重缺位，很多人工智能的应用，都是在法律没有任何准备的情况下，盲目地“先用起来再说”。

《人工智能与法律的对话》，[美]瑞恩·卡洛等编，陈吉栋等译，上海人民出版社，2018年8月第一版，88.00元

在许多人心目中，科学技术无限美好，人工智能是科学技术，所以人工智能当然也无限美好；无限美好的东西，当然是发展得越快越好，应用得越多越好。法律缺位，在某些人看来也许反而是好事——在这种情况下应用人工智能就可以肆无忌惮了。等到出了事情，发生了灾难性后果，人们再来亡羊补牢进行法律方面的补救，反正通常也无法溯及以往，在此之前不顾法律或伦理约束已经靠人工智能挣了钱的人，得以逍遥法外，估计是大概率事件。

刘兵：人工智能，确实现在成了一个科学技术的热点。无论是研究者、开发者、投资者、传播普及者，乃至于各级官员们，都极为热衷于谈论人工智能，大有不关心人工智能便意味着落伍的感觉。

另一方面，我也注意到，你近来对人工智能也颇为关注，当然，是持反对立场的关注。其实以往你在讨论各种科幻电影时，也常常会谈到人工智能，不知在这之间是否也有某种联系。其实人工智能只是众多引起争议的科学技术研究与开发应用中的一个话题，它与其他像核能、转基因等话题有着诸多相似之处，只不过是因为近来它变得更加热闹和为人关注而已，当然，这种热门化，背后恐怕不仅仅只是研究的发展与驱动，其中资本力量的驱动应该是更为主要的因素。

至于这套丛书，是以关注人工智能带来的相关法律问题作为切入点的。法律的问题固然重要，但也只是关于人工智能争议的一个子分支而已。我并不否认，在这套书中，作者们在从法律的角度讨论人工智能时提出了许许多多重要的、以及一些平常在讨论人工智能时被关注不多的问题，而且也经常会超出法律的范围进入哲学的讨论，但在这些法律问题背后，我想，关于人工智能还是应该有一些作为法律问题根源的、更为根本性的哲学问题吧？你是否这样认为呢？

《机器人是人吗？》，[美]约翰·弗兰克·韦弗著，刘海安等译，上海人民出版社，2018年8月第一版，68.00元

江晓原：虽然就比较广泛的意义来说，人工智能和核电或转基因确有相同之处——比如都会引发社会争议等等。但人工智能还是有特殊之处，比如，人们至少目前并不担心核电或转基因技术会引发大规模失业，也没有人担心核电或转基因技术会在常规的意义上征服人类，所以人工智能的风险在当下得到快速发展的技术中，确实有资格位居最危险的第一号。

我近年关注人工智能问题，确实与前些年对科幻作品的科学史研究有关。我一直认为，大量科幻作品中对于人工智能应用前景的种种思考和警示，理应成为当下思考人工智能问题时的重要思想资源，特别不应该仅仅因为它们是“科幻文学作品”而置之不理，却继续盲目推进和歌颂人工智能。

如你所说，资本的作用无疑是巨大的，更是可怕的。因为资本的增殖冲动是盲目而且无法抑制的。现在越来越多的技术研发都是资本推动的，这个现象的极度危险在于，在“科学的纯真年代”曾经存在过的那些推动科学技术发展的动因，比如造福人类的善良愿望，比如探索自然的好奇心等等，如今都已经让位于资本增殖的原始冲动，或是沦为掩盖资本增殖原始冲动的虚饰之辞。

关于这套书在当下的价值，我提供一个比较特殊的看法。我感觉，当许多应该提出的警告都已经被提出，许多可能的危险都已经被分析之，而盖茨、霍金、马斯克这样的名人要求警惕人工智能的呼吁也已经问世之后，在近期要将关于人工智能的争议引向深入，似乎已经出现了困难。而不知死活的“业界”则继续在人工智能的研发方面狂飙突进，以实际行动展示着对哲学和伦理思考的极度蔑视。在这种情况下，从法律角度提出对人工智能的思考，无疑具有非常积极的意义。

《谁为机器人的行为负责？》，[意大利]乌戈·帕加罗著，张卉林等译，上海人民出版社2018年8月第一版，58.00元

刘兵：你说的这些想法，原则上我也都是同意的。但我的确怀疑，在资本的可怕力量的驱动之下，这些法律是否真的能制订出来？即使能制订出来，是否真的能理想地实施？

就前者来说，我们仍可以以转基因为例。虽然你说人工智能更加危险，美国是转基因生产的大国，但在法律制订方面，对这项技术和产业，又有多少应该制订而没有制订的法律？而在中国，我不知道这方面是否甚至有人在思考和行动。关于后者，即使有了相关的法律，在转基因领域违法的现象不是依然大量存在吗？

我觉得，之所以有这样的局面，不是因为人们对于像人工智能这样的东西的风险谈论不多，而是因为另一些更为根本性的对于“新科技”发展的观念上的误区。不从根本上解决这些问题，对于避免风险，即使法律之类的东西也是无能为力的。

同时，我还是特别关注另外一些相关的概念问题。比如，人工智能中的“智能”是什么？许多人经常在人类智能的意义上来理解它。其实，这种只是由科学家们以计算模仿的方式搞出来的并不真的等同于人类智能的“智能”，仍然会有如此巨大的风险，正说明这类前沿“新科技”超越以往的力量与风险。

江晓原：你的担心我完全同意。事实上，在跨国资本可怕力量的作用之下，制订与人工智能相关的法律就很不容易。例如《机器人是人吗？》的作者提出的关于联合国人工智能公约的框架建议，从内容上看是挺不错的，考虑了和人工智能相关的诸多方面，但是作者也清楚地知道：“如果像美国这样的国家决定不对其人工智能无人机的军事利用施加任何限制，那么以上任何条约都只是一个雄心勃勃却时运不济的具文。”控制美国政策的资本，当然不仅仅要满足增殖的需要，还要维护美国的世界霸权，在这样的“政治经济学”中，人工智能将被滥用，是毫无疑义的。那些人们呼唤中的法律，即使真的被制订了出来，并且在某种范围内被通过了，估计也无法得到真正的执行。就像研发军用人工智能的人从来不会把阿西莫夫的机器人三定律真正当回事一样——阿西莫夫三定律中的第一定律就从根本上排除了一切军用人工智能的合法性，但是在军用人工智能飞速发展的现实面前毫无作用。

至于你特别关注的“智能”问题，显然就进入你所喜欢的哲学讨论了。我的感觉，“智能”的定义问题是很难获得理想解决方案的，但在定义尚不清楚完善的情况下，并不妨碍人们先稀里糊涂地研究它、发展它。就像人类在“科学”尚未得到理想定义的情况下，早已毫无节制地发展了科学一样。

在一些人的善良愿望中，希望人工智能的算法、深度学习之类，还不能或不会等同于人类所拥有的“智能”，因而人工智能最终将无法奴役或征服人类。这样的愿望当然善良，却只能是自我安慰而已。人工智能即使达不到人类的“智能”，也仍然存在着祸害或征服人类文明的可能。当然，我也希望人工智能的“智能”晚一点到达人类的境界，最好是永远到达不了，这才是人类之福。

刘兵：这样一来，就像我们以前的某些对谈的结果一样，只是一个非常悲观的结论。在当下这种资本和政治指挥科技的局面下，人们根本无法阻止发展本来并非必要的人工智能（尽管有许多许多人在论证这样的必要性），而只有眼看着人工智能的加速发展，只能悲观地“等死”。而另一方面，同样是在这样的背景下，别人研究，你不研究，似乎也是一种“等死”的策略。于是，也只有一些有识之士（例如就像这套丛书中的一些作者）看破死局却无可奈何。

那接下来的问题依然是，对于人数更为众多既不能在经济上又不能在政治上受益于人工智能的人，该如何办呢？

一种可能的办法，也许是像你这样，极力鼓吹传播自己的反对观点，讲清道理，尽管在讲这些道理的时候也明白其实无济于事。

还有什么别的选择可能性吗？难道只能像你所说的用“希望”来寄托？“希望人工智能的‘智能’晚一点到达人类的境界，最好是永远到达不了，这才是人类之福。”先不说这样的希望是否靠得住，在这样说的时候实际上你就已经隐含了极为悲观的预设。难道这样被动的“希望”就是我们唯一的希望？

江晓原：你的质问是悲愤而有力的。这让我想起你以前和我说过的某些环保人士的心态：他们对于地球生态的未来其实是完全悲观的，但他们仍然孜孜不倦地参加环保活动，是知其不可为而为之。你上面的质问，同样可以用于那种状况。但是在人工智能这个问题上，我只会比环保悲观十倍！我上面那种被动的“希望”就是我们唯一的希望。而我们——以及许多对人工智能持悲观看法的人——之所以要孜孜不倦喋喋不休地继续呼吁，而不是坐在家里等死，同样是知其不可为而为之啊！

当然，如果一定要弄乐观一点的说法，我们可以说“有百分之一的希望，就要尽百分之百的努力”等等，这和知其不可为而为之也不矛盾。让我们尽人事以听天命吧，你说呢？

刘兵：呵呵。你这种态度确实和我以前所说的那些环保人士的心态有一拼了。也许，这种可以让人“死得明白”的立场，也确实是当下能够做的事了。不过，我们也要清醒地认识到，现在能够持有这种立场，看清未来风险的人还不是很多。很多人还是会觉得那是杞人忧天。尽管我们现在经常能够听到“风险社会”这样的说法，但人们又经常会以为未来的风险是可以通过一些政策的调整、可以通过科学技术的进一步发展而避开的。人工智能的案例，就像你所说的那样，却是一个本身就是科学技术发展带来的风险的实例。如果人们不从根本立场上有所改变，恐怕就只有以身试险这一条死路了。

（江晓原为上海交通大学讲席教授，科学史与科学文化研究院首任院长，刘兵为清华大学科学史系教授。本文为中华读书报、上海交通大学出版社联合策划的“南腔北调”对谈系列第170期）

来源：中华读书报

尘香如故

人工智能，确实现在成了一个科学技术的热点。无论是研究者、开发者、投资者、传播普及者，乃至于各级官员们，都极为热衷于谈论人工智能，大有不关心人工智能便意味着落伍的感觉。

尘香如故

在一些人的善良愿望中，希望人工智能的算法、深度学习之类，还不能或不会等同于人类所拥有的“智能”，因而人工智能最终将无法奴役或征服人类。这样的愿望当然善良，却只能是自我安慰而已。人工智能即使达不到人类的“智能”，也仍然存在着祸害或征服人类文明的可能。当然，我也希望人工智能的“智能”晚一点到达人类的境界，最好是永远到达不了，这才是人类之福。

墨梅

希望人工智能的“智能”晚一点到达人类的境界，最好是永远到达不了，这才是人类之福