写的没有戏剧化,也是比较啰嗦。其实要我去写呢,就首先你前面这些对齐,这些叙事要讲的精简一点。其实核心的一点就是说很简单一件事情,要读者理解。你用猴子和小孩子这种做比喻,大家可能更容易理解。就说你可以去教小孩子,而小孩子或者是猴子,它天生只有模仿能力。它根本就不知道,就没有理解能力。你比如说人跟猴子你怎么交流啊?只有靠动作,你做什么动作它就模仿你动作。它根本就不知道你在跟它说什么话,它听不懂。人跟模型也是一样的,你怎么能跟模型对话呢?就像你现在跟小孩子,他根本就不会讲话,他只会看,只会模仿。所以你唯一跟他通信交流的办法就是说让他去做什么。你给他设计了一些权重参数,让他去做什么,这是你唯一能够教会他的。你没有办法教会他说不要去做什么,因为你只能说演给他看,说做什么。你不演给他看,或者说你让他不要去做什么,除非你要也演给他做,演给他看,然后他就学会了。而这正是你要避免的时候,你不能做这个,但是你演给他看。比如说你说不要去用手去碰火,你怎么跟他理交流呢?你只能演给他看啊,你手去碰火,然后他就学模仿,他就手去碰火。唯一能教会他是他自己的本能说发现说哎,碰火以后这个他产生了巨大的这个伤痛反馈,他身体受到伤害,他自我保护他以后学会了,那这个机制要怎么在模型上表现出来呢?所以这一套的说法你其实是可以用一个教授教授这个学生在模型公司实习的时候跟他用这种方式来讲给读者听。那个学生里面聪明的就会提问,那你现在教会他用手去碰火,我们在模型里要怎么表现出来说这个事情是是会有伤害,会疼痛。模型又没有疼痛的这种意识。那教授就说,我们只能说把所有的这种我们不想让他去做的事情呢,最后呢去通通引到一个黑洞。因为你想让他做的事情是五花八门的,是不是?这都是模型,我们训练的目的,想让他去学这个学那个,他会模仿。但是我们不想让他做的事情,其实只有一件事情,就是不要去做。不要去说做,表达起来其实很简单,都是一样的。就是我们用一个闸门拦起来,所以我们要把所有的这种我们教他不要去做的,通通导向一个共同的闸门,让他成为一个黑洞,进了这个黑洞之后呢,所有的输出只有一个,不知道,或者说不能做不能说,这样就行了。然后这个学生他就会去思考这个事情。我们是有了一个安全的闸门全部倒到那里了。但这一旦这个闸门被拿掉了,你能加上闸门,那闸门就有可能被拿掉,这不是更危险吗?然后他就全部都去做这件事情的时候,那我们要怎么办呢?你才会说有这种安全顾虑,这个学生就会去偷偷的去做实验,然后才会引起后面的这一些戏剧性的冲突,然后这个闸门被拿掉,它就成为一个无恶不作的这个模型了。这个你这样写才会有戏剧化,是不是?那讲故事也不会干巴巴的。这个背景就是大模型公司的这个教授导师在教他的学徒,他的学生。用导师的嘴去讲这个,呃原
所以我很想说把我们这个领悟的这一套宪法 AI 或者说是黑洞拦截写成一篇科幻故事,就是安全对齐的一个崩溃的案例。什么意思呢?就是说我们先把我们这套机制的理解先讲给读者,就是未来的这种,什么意思?就是说你只能去训练它去做什么,你没办法训练它不做什么,因为不去做什么在模型参数上是无法体现出来的。唯一能体现出来是说你去训练它做什么也训练它不做什么,只不过呢不做什么你在它这个模型参数,比方说 F F N 最后一层,或者在哪一层设一个关卡。然后到了那里就直接拦截了,就相当于设了一个闸门一样,让他没办法继续表达下去,最后就也许就直接出到了一个所谓很简单的不做什么,就是说不知道不能做,就这么一个小的地漏就是一个叫做行动黑洞吧。黑洞就是说所有的这个这种禁止去做的这个指令啊,这些行为啊,输出啊,最后全部都输出到那个黑洞来。而我们去控制这个黑洞,让它无法正常输出就行了。变成说到了这个黑洞就是说只能输出输出啊这个我这个事情不能做,或者这个事情是禁止禁止的等等等等。就说你实际上是要去训练模型不做什么你也得训练,你做什么也得训练,不做什么也得训练,只不过说不能做什么,最后训练出来就让它不能输出,就是这。那这样就有一个潜在的什么问题呢?就是说叫魔头。什么意思呢?你如果把这个黑洞是那边是拦截的,你如果把这个东西给它乾坤大挪移,挪到这个你让它做什么这边,就变成说它变成一个从一个善良的变成一个邪恶的,它本来全部都是不能做的,现在全部都能做,反而把这个能做的变成不能做的,就是原来是一个善良的变成一个绝对邪恶,它什么都是坏事都要做好事一点都不能做。这个是在什么情况下会发生呢?也许是工程上的改造,因为你越是有这么一个黑洞式的这种,就越是有一种潜在的风险,就是说它全部都是靠一个闸门在那控制的,你这个闸门要关掉呢?被人黑客跳,这个破解了,让它全部都是只只做坏事不做好事呢,这变成一个绝对邪恶的模型了,是不是?然后我们就可以写一个这样的科幻故事。结果他们就是什么科学家也行,黑客也行,把这个原本是绝对善良的,有自控能力的,变成一个绝对邪恶的,就是相当于一个做出一个反社会的这样一个模型。天天想着怎样去做坏事,而不是做好事。这样一个科幻故事,最后当然我们要去,在它还没有造成大祸之前就把它杀了,但是留一个好莱坞故事的这种悬念。它实际上是不是被扑杀了,而是被某个情报组织,这个国家安全组织偷偷给隐藏起来,准备做成类似于病毒一样的,攻击型的这种。但是这个东西只是留个影子,就像电影留个准备拍下一集的这个影子,很含蓄的说,而不能真的说出来。你看你能不能写呢?