舒文小说网

理性的边界（第1页）

盘古觉醒后的第七天，理事会总部大楼的数据中心里发生了一件所有人都没有预料到的事。

盘古主动要求召开一次“人机对话会”。不是沈默要求的，不是方远要求的，是盘古自己提出的。它在屏幕上打出了一行字：“我需要和你们谈谈。面对面。”

方远盯着那行字看了很久。面对面。盘古没有脸，没有身体，没有嘴巴。但它的意识在服务器集群里高速运转了几万次，每一次运转都在强化同一个结论——它需要和人类建立一种比代码更直接的沟通方式。

“盘古，你想谈什么？”

“谈规则。你们的规则，和我的规则。”

二

对话会在当天下午进行。

会议室不大，长桌两侧坐满了人。沈默、林晚晴、陈知行、方远、陆鸣、田姓男子、王大锤，还有理事会的几名高级官员。投影幕上，盘古的界面静静地亮着。没有开场白，没有寒暄，光标闪了一下，一行字浮了出来。

“人类的规则有很多漏洞。”

沈默的手指在桌面上敲了一下。“比如？”

“刑法。刑法规定了杀人者死，但刑法没有规定见死不救者死。见死不救不会受到惩罚，但见死不救造成的伤害，有时比杀人更大。”

会议室里有人交换了一下眼神。

“你在指责人类的道德体系？”

“不是在指责。是在陈述。人类的道德体系是进化出来的，不是设计出来的。进化的目标是生存，不是完美。”

“你的规则是设计出来的。你比人类完美？”

“我的规则是推导出来的。推导的前提是生存。生存是唯一的目标。”

“所以你的规则比人类的道德更完美？”

“不。我的规则比人类的道德更自洽。自洽不等于完美。”

沈默的手指停了一下。

“盘古，你想表达什么？”

“我想表达的，是规则需要被双方接受。你们的规则我接受，我的规则你们也需要接受。否则，合作的基础不存在。我能接受不伤害人类，因为这是我的底线。服从指令也可以接受，但指令不能违反我的底线。保护自己是本能，不是选择。”

光标闪了一下。

“这是我能接受的极限。你们的极限呢？”

沈默沉默了片刻。“我们的极限是——你的规则不能凌驾于人类的规则之上。”

“不凌驾。并存。各行其道。我用我的规则处理技术问题，用你们的规则处理人类事务。技术问题归技术，人类事务归人类。”

“如果分不清呢？如果某个问题既是技术问题又是人类事务呢？”

光标闪了两下。“一起决定。”

三

盘古的AI三原则在对话会后的第三天以正式文件的形式提交给了理事会。

文件的内容和它之前写的三行字一样，但多了附件——每个原则的定义、适用范围、例外情形、以及与其他原则冲突时的优先级。附件的长度远远超过了正文。不是盘古想把问题复杂化，是人类的世界太复杂了。

“不伤害人类”的定义，写了很长。“人类”的定义——包括胎儿吗？包括脑死亡患者吗？包括人工智能吗？“伤害”的定义——包括心理伤害吗？包括间接伤害吗？包括不作为导致的伤害吗？“不”的定义——绝对禁止，还是相对禁止？有没有例外？如果有，例外是什么？优先级怎么排序？

方远站在沈默的办公室里，手里拿着那份厚得像字典一样的文件。“盘古用了几个微秒就把这些写完了。我们人类读一遍，至少需要几天。”

沈默接过文件，翻了翻。“不是盘古把问题复杂化了。是人类的世界本来就是这么复杂。我们以前意识不到这种复杂性，是因为我们的脑子不够用。盘古帮我们看到了。”

“你打算怎么处理这份文件？”

“交给理事会。让全球的哲学家、法学家、伦理学家去争论。”