机器人第四定律

从前面一个post关于资源管理想到的

资源管理的方式,可以让程序员定义的“任务”通过系统调用注册到系统里,然后这些任务以自我繁殖的方式,不断复制。缺乏资源的任务会被“饿死”(starving),这样同时解决了死锁问题。而占有资源可以正常工作的任务就会不断繁殖。如何防止资源过度利用?可以设置一个人口密度的概念,当同种群的任务在系统中的密度过大时,繁殖速度就会下降,保持到均衡的状态。

最后,咱忽然想到的就是,必须给所有的任务一个开关,可以手动关闭一个任务。

这还远远不够。还需要能发出一个信号杀死所有的同种群任务,以及杀死所有的任务。

其实这也是我对于人工智能思索了很久以来的一个结果。想要保证人工智能的安全性,如果从fundamental 做好定义,让人类对所有的人工智能都有一个最高的控制权限的话,基本上就可以防止天网入侵了。或者你遇见终结者的时候,只要说出一条密码,所有的终结者,乃至所有的人工智能都会执行自毁程序,那即使天网入侵了你也不会惧怕。

我相信假如人工智能出现,他一定是建立在自动化的单元测试基础之上的。他会迅速地变异,修改自己的代码和功能,然后跑单元测试,如果通过率比过去更好,则保留这个变异方案。只要把上述人类对人智的控制作为最最基本的BVT单元测试,在开发人智之初就放进去,则无论未来的人工智能如何变异如何强劲,都可以保持在人类的掌控之下。

这就是我想要补充的机器人第四定律:

vi. 当人类提出自毁信令,根据该信令特权级必须做如下操作:

特权级2,本单位自毁

特权级1,广播信令,完成种群自毁(任何本种群的人智接收到这个信号后,广播该信号一段时间,接收到ping back或者超时后,完成本单位自毁)

特权级0,广播信令,完成类别自毁(如前,但范围扩大,所有继承自一棵遗传树的人智均执行自毁)

 

啊啊啊,继续沿着这个思路想象下去就是一部科幻小说了啊啊啊

2 comments on “机器人第四定律

  • 忽然想到,在《黑客帝国》里,Leo之所以具备用手挡住乌贼哨兵的能力,应该就是这个人智自毁密码的缘故。确实,这个密码必须存在。同时,这个密码不能是随随便便什么人都知道的,否则就会造成混乱。因此只能让“救世主”掌握。并且救世主也不是天生就知道这个密码的,必须通过某种途径,在某种情况下才能掌握。

    或许在《黑客帝国》中这个密码是更简单的设定,就是人智不能杀死救世主;假如当前命令和这个fundamental的设定有冲突,则执行自毁。如果是这样的设定的话,就不需要密码这样的机制了。但是我仍然认为,一个毁灭全体人智种群的密码是需要的。仅仅是机器人三定律中的机器人不伤害人类的定律,无法保证机器人做的事情是人类想要的。因为像在《黑客帝国》中那样把人类养在容器里当电池,机器人也许认为这才是对人类最好的选择。

Comments are closed.