非科幻思考（第15/17页）

按照这种模型，每个人的心智系统都有很多层次，每一层都有“行动者”和“批评者”，行动者给出路径建议的选项，批评者从自己的角度加以评估质疑。例如当我们想要获得考试成功，一个头脑中的行动者建议多做题，相关的批评者会说时间来不及了，另一个头脑中的行动者建议去偷答案，相关的批评者说违背公德可不行。

其中，沉思一层是我们寻找最优路径，反思一层是我们质疑自己找到的路对不对，自我反思一层是我们质疑自己能不能找到路径，自我情感意识一层是问自己到底为什么这么做、选择的意义是什么。这些批评家让我们活得专业而审慎。但是如果每一层的批评家都活跃，我们却又可能会寸步难行。事实上，当我们把头脑中的批评家关闭一些，行动者会更加冒险，大胆行动，而那是我们感觉最快乐的时候。

重要的是，每一层批评家都根据某些价值评判准则做出评估，若没有足够强大的价值评判体系，则很多冲突难以协调和仲裁。有可能模块与模块之间缺乏平衡，某一方向过于强大，挤占所有心智资源，让人陷入偏执；也有可能各个方向过于平衡，没有精神力量推动，整个体系陷入无法抉择的心智“纠结”，让心智崩溃。

对于人类来说，具体任一部分的功能都不需要做到极致，各个功能之间的协调统一才是追求的目标。我们在生活中既不喜欢那些不学无术的愚蠢之人，也不喜欢不懂得生活、只懂读书的书呆子；既不推崇只会计算、不懂与人交往的自闭症患者，也不推崇只懂察言观色、毫无真才实学的投机分子。任何一个模块的缺失都被称为某种心理障碍。我们头脑中的偶像，总是有勇有谋（既有肾上腺素情绪、又有皮层思考）、敢爱敢恨（情感系统敏锐发达）、志存高远（动机层次高尚）、侠肝义胆（对他人有同情和帮助），也就是说，一个综合协调的人。

人类社会生活中，有正确答案的事情不多，有单一目标的事情也不多。而人类的智慧，就在于从事件中提取智慧，在不确定中做出抉择。

综合协调各个部分，正是人类大脑最不寻常的智慧。我们现在的人工智能学习只效仿了一部分皮层的神经网络，做了机器视觉的一些尝试，还没有对大脑其他模块加以学习模拟，这好比是架在空气中的屋顶，屋顶强大，却没有接地的建筑支撑。想要实现具有自我调控的综合脑系统，目前的学习训练算法远远不够。

对人来说，做出调控和价值评判，需要有稳定却又灵活的价值观。一个物种也要有能力自我反思。人类价值观的传承和反思通过代际完成。儿童既可以完全继承父辈文化，也可以形成一种与周围父辈截然不同的新一代文化。这样的好处就在于，可以在基因变异速度远远跟不上时代发展的情况下，让种群智能和文化发生不断地迭代更新。我们和原始人基因上几乎没什么变化，环境也变化不大，但大脑的适应性让我们可以快速革新人类文化。

未来，人工智能如何调节自己内部的多功能模块，基于什么作为调控的基本原则，人工智能总体基于何种原则进行“物种”自我调控，都是人工智能面临的大问题。只要是智能，即便完全和人类不同，也需要面临智能最重要的问题：自知、自制、自主。

未来的超级人工智能是什么样？

写到最后一部分，我们终于该讨论一下，未来如果形成超级人工智能会是什么样。

当然这是很远很远很远以后的事情，也不知道会不会有那一天。

对未来的讨论，威胁论总是最热门的。人类对威胁的兴奋程度，远高于歌舞升平。

目前在人工智能领域，威胁论的故事版本大概有以下几个：

（1）人工智能诞生了自我意识，感受到被人欺侮和奴役的痛苦，于是杀人以复仇；

（2）人工智能虽然没有自我意识，但是头脑很轴而异常强大，种番茄的人工智能会把地球种满番茄，为此不惜杀灭挡路的人类；

（3）超级人工智能比人类强大太多，像清理虫子一样清理人类。

第一个威胁故事，类似于《西部世界》或是《机械姬》里面的描述，我称之为人工智能复仇故事；第二个威胁故事，有点像是残酷版的《机器人总动员》（Wall-E），可以称之为人工智能失控故事；第三个威胁故事，类似于《终结者》或是《黑客帝国》里的超级智能与人对抗，可以称之为人工智能压迫故事。

总结起来，人们对人工智能发展有两种猜测，一种是可能产生一个类人的强人工智能，因此需要创造出各种适合发展人类心智的学习条件；另一种是就让人工智能在现在的数字环境中发展，让它发展成一个与人类差别很大的超级物种。