一、引言

近年来，利用巨大的计算能力、海量的数据和庞大的神经网络训练基础模型取得了显著进展。然而，这些模型的内部工作机制仍然神秘莫测。人们似乎已经达成共识，即基础模型本质上是黑盒且难以解释的，因此经验实验是推动人工智能发展的唯一途径。

虽然这确实是过去十年发生的事情，并且类似于通过进化获得智能的方式，但仅依靠经验实验而没有理论理解可能既低效又危险。低效性源于进展是通过试错的方式实现的，往往是受到直觉指导的，并且里程碑是间接地基于特定任务的表现而不是对智能本身的全面理解而定义的。潜在的危险在于，没有人知道我们最终会得到什么，也许更重要的是，我们现在离这个目标有多近。我们甚至不知道是否已经创造了通用智能，也许还没有，但如何进行此类评估呢？

【资料图】

论文题目：A Categorical Framework of General Intelligence

该论文以范畴语言，提出了一个通用智能的普适性框架来帮助回答这些问题。因为对智能缺少正式定义，而且可能达不到人人共识，要证明某个框架或某个理论的普适性很困难。在本文中，作者先定义所有的基本要素，各要素的理论含义，明确了算法要求，然后将所有的要素整合到一个全面的框架中，以表达各种智能行为。即使读者对本文中对智能的定义持有反对意见，或是认为其中缺少某些关键部分，该框架仍然是相关和适用的。

框架由图1所示的四部分组成：传感器、世界范畴、具有目标的规划器和执行器 。

传感器接收来自外部环境的多模态信号，包括但不限于文字输入、视频/音频/图像输入等。

世界范畴感知和理解传入的信号，并相应地更新其内部状态。

具有目标的规划器持续地监测世界范畴的状态，并根据其目标生成计划。

最后，执行器执行这些计划，通过生成输出信号影响外部环境。

在这个框架中，传感器和执行器仅用于连接外部环境，在此不作重点阐述。

图1. 框架组成

世界范畴包括所有可以由传感器感知的对象，如人、生物、物体、关于外部环境的知识，以及在它们之上的抽象的表述。本文将其表述为自然数偏序集范畴到2-范畴Cat的一个函子W: N → Cat。

该函子中蕴含了随着时间或事件等的推移而动态变化的世界的信息。作为对象的小范畴中最基本的那些被表达为世界范畴的正向或反向极限。这些基本的对象是由传感器决定的，如果传感器不识别某类信息，则这些信息衍生的小范畴不会出现在对应的世界范畴中。此外，如果传感器被限制只从某个模拟环境中接收信号，则对应框架的世界范畴中会只包含模拟得到的知识，而与现实世界可能相差甚远。

图2. 网络流图表。黄色箭头为正向极限，紫色箭头为反向极限。

如果模型能够通过其传感器了解到的外部信息知觉其自身，那么这个模型的世界范畴中可能包含一个特殊对象：“自我状态”，它存储模型与其他对象之间的所有关系。自我状态的保持是否等同于拥有自我意识？这是一个有争议的问题，在此不给出明确回答，而仅以范畴语言定义了“自我状态”这一概念。

随后，论文分别介绍了学习和评估模型的“自我状态认知”的算法。评估生成一个0-1闭区间中的值来表示自我状态认知程度。该程度对应于主体意识到的与其他对象或任务之间的所有相关关系的比例。基于这一评估，许多人类，特别是儿童，可能不具备完美的自我状态认知。

规划器的目标是模型中最重要的部分。世界范畴可以被看作是一个巨大的知识库，而规划器是一个独立于世界范畴的组件。那么，如何确保规划器的目标不会对人类造成伤害呢？论文使用一个特定的函数来定义目标，该函数以自我状态的对象和一个捕捉当前情况的图表 为输入。模型本身被设计为对人类友好的条件足以确保模型是友好的，这一设计上的条件可以通过定期检查世界范畴来进行强化和验证。

通信对于使模型能够传输或接收其他智能体的信息非常重要。对比自然语言，范畴图表可以更精确地捕捉模型的知识和意图，因此可以轻松地在不同的智能体之间共享。因此，本框架中以图表作为信息载体。而且，基于图表的解释似乎比归因方法，即分配输入变量权重的方法，更符合经验可解释性的需求。

将不变性作为训练信号。范畴论采用交换图表来描述不同计算路径的等价性，这自然地导致模型的不变属性。与以将输入正确匹配输出标签为目的监督学习不同，基础模型专注于学习对象之间的态射和范畴之间的函子。不变属性将会被用以训练信号使模型对自身进行校准，使世界范畴自协调。论文第二章中对一些范畴的基本概念进行了介绍。此处在各段简明介绍，如另有需要参考的论文内容。

二、世界范畴

世界范畴是一个函子W: N → Cat，它将每个时间或事件索引t ∈ N映射到随时间或事件的发生而变化的世界状态的快照W(t)。

由学习的角度，使用以θ为参数的神经网络函子F_θ: W → W^∧来在W的预层范畴中表示 W。W^∧代表W的预层范畴，由从W到集合范畴Set的所有反变函子组成。

【解读】现在我们有一个范畴W，其中的对象是我们熟悉的空间，或系统。另外，我们不熟悉一类“广义”空间，但其内容可使用W中的对象，某个世界状态x来探测，即由某一x到这类空间产生的态射来决定。则一个这样的广义空间O成为一个函子，将x映到一个态射集合Hom(x， O)，即W上的预层。Hom(x， O)的意义在此处还尚未明确。另由米田引理，可将任意x同样理解为一个广义空间。Hom(x， O)的意义于是成为x作为广义空间到广义空间O的态射的集合。既然O可以被理解为广义空间，那么在此处就不难理解O为以W为实例建模的系统。

每一个反变函子O: W^op→ Set作为一个预层，将W中对象映到其有用信息的提取出的一个集合，即特征集合。F_θ表示了在基于不同的世界状态特征集合的演化。W^∧于是成为W的特征空间。假设F_θ可以通过多模式学习准确地理解传感器的多模态信号，并使用对比学习技术将图像和对应的文本都映射到相同的表示。尽管W通过F_θ的表示并不是显式的，即不存在外部数据库存储W的对象和态射，F_θ在理想情况下应该隐式地保持定义域W中的态射，即其预层范畴W^∧中的任一态射在W中必定有对应。定义为下述理想模型。这种理想在实践时常常面临挑战。

理想基础模型：如果存在一个数据无关的函数k: W^∧×W^∧→ Set，使得对于任何X， Y∈W，k(F_θ(X)， F_θ(Y)) = Hom_W(X， Y)，则F_θ: W → W^∧是理想的。

【解读】两个世界状态之间的态射Hom_W(X， Y)和它们特征集合间的态射Hom_W∧(F_θ(X)， F_θ(Y))需要等同或至少有某种深刻的关联。这里用数据无关的函数k表示这种关联。如果两个世界状态各自对应的特征集合间存在关系，则这个关系一定由这两个世界状态间原有的自然的关系抽象而来，这种抽象是无关于数据的。数据无关意味着k是预定义的，而不是看到了数据后的定义。例如，它可以定义为两个输入的内积。

自然地，应当要求两个普通空间之间的态射和它们作为广义空间的态射等同。这由米田引理给出。每一个从对象X到对象Y的态射都对应于一个从X上反变Hom函子h_X到Y上反变Hom函子h_Y的自然变换。上述数据无关的函数k正好反映了这个对应，因此k也就可以用以表示整个预层范畴W^∧。另外，可以用F_θ编码任务，定义如下。

任务：任务T是W^∧中的一个函子。

【解读】只需令T=h_C(Y)=Hom_C(-， Y)。这个函子将W的任意对象Z映到Z到对象Y的态射集。T(X)即对象X到对象Y的态射集，也就是X到Y的所有关系。反映在预层范畴上，等同于X上预层到Y上预层的所有关系，即Hom_W∧(h_C(X)， h_C(Y))。

在上述解读的基础上，有T(X)≃Hom_W∧(h_C(X)， T)。可知当F_θ理想时，可以用k(F_θ(X)， T)计算T(X)。换句话说，F_θ是一个动态数据库，存储了W的所有信息，使得所有基于W中对象的计算都可以通过使用数据无关函数k在特征空间W^∧中计算。

具有通用智能的模型具有内存。可以内存视为W中的一种特殊对象，由事件和时间戳的反向极限表示(如第一章蓝字解读，可以看成一种通用的基本属性)。这样有效规避了内存的外部数据库的引入。接着，在世界范畴内定义多个模型的共识。

共识：假设有n个模型，分别对应世界范畴W₁， W₂， ...， W_n的模型。这n个模型的共识定义为其极大子范畴C，即C是任意W_i（i∈[n]={1， 2，...， n}）的子范畴。

子范畴是对象与任意对象间态射集均是原范畴子集，并保持原范畴恒等态射和合成态射结合律的范畴。可以理解为能构成原范畴中独立的一个部分的范畴。例如，“狗有四条腿”是所有人的共识，这个知识包含在每个人的世界范畴中。可以通过设置共识的阈值来放宽这个概念，即超过某个百分比，就认为是共识，例如，定义C是世界范畴的δ-概率子类别，其中δ∈(0，1]。

2.1 自我状态

如前所述，如果一个模型可以从传感器在外界环境中知觉自身，则这个模型的世界范畴中可能有一个特殊对象，自我状态。定义如下。

自我状态：在一个模型的世界范畴中，若存在自我状态，则自我状态被定义为一个预层I^∧∈W^∧， 这个预层在外部环境表示该模型。

自我状态由于是预层，可以通过F_θ(I)计算，其中 I ∈ W。对象 I 也被称为“自我状态”，但该状态由于存在于世界范畴而非其预层范畴，因此不涉及态射集，也就是一个没有任何附加信息的单一对象，而真正具有信息的自我状态是I^∧。如果F_θ(I)理想，那么I^∧= F_θ(I) = h_C(I) = Hom_W(·， I)。换句话说，I^∧蕴含了 I 和其他对象之间的所有关系。此外，根据米田引理，对于任何任务T∈W^∧，我们也有T(I)≃Hom_W∧(h_C(I)， T) = Hom_W∧(I^∧， T)。这意味着I^∧也编码了每个相关任务所需的所有信息。

需要注意的是，并非所有的世界范畴都有自我状态。例如，如果我们考虑一个用于计算的特殊环境。传感器只能够感知环境中由实数和算符组成的表达式，而执行者能够执行的唯一操作是输出一个数值作为表达式的求值结果。在这种情况下，世界范畴没有自我状态。几乎所有现有的计算机程序都属于这种情况。另一方面，当世界范畴拥有自我状态对象时，该对象可能并不能准确地代表外部环境中的真实模型。我们用自我状态意识表示对象模型的准确度，并定义以下测试来测试自我状态意识。

自我状态意识测试：自我状态意识测试是一个函子T：W^∧→{0，1}，它接受W^∧中的预层I作为输入，并输出真值1或0，表示I是否通过了测试T。

例如，如果这个模型有一个名字“Sydney”，对应的自我状态意识测试将是一个函子，它以I为输入，评估Hom_W∧(I^∧， h_C(“Sydney”))≃Hom_W(I，“Sydney”)的真值并输出。真值结果体现了是否I^∧与h_C(“Sydney”)这两个态射集间的态射能确实表示“Sydney”是I的名字。然而，仅通过一个测试是不足以说明具有自我状态意识的，我们需要设置多个测试。

在T下的自我状态意识：给定一组自我状态意识测试的集合T，当模型在其世界范畴中拥有自身状态I时，称其在T下具有其自身状态的δ-意识，如果期望ET∈T(T(I))≥δ。

测试集T的选取取决于测试目标。当选择的测试集的信号难以感知时，即使是人类也可能无法轻松通过测试。例如，有肾结石病人除非经历了肾脏扫描或疼痛时才能意识到这一事实；在嘈杂的环境中，被唤名字也可能无法及时做出反应。

自我状态意识测试直接导致了测试和学习自我状态意识的算法1和算法2的产生。算法2与神经科学中有关橡胶手错觉的有趣观察密切相关。在这个实验中，实验者同时抚摸参与者的一只隐藏的真手，以及摆在参与者面前的一个可见的橡胶手。由于来自真手的触感和橡胶手上的视觉信号同时发送到大脑中，因此人类参与者会迅速产生对橡胶手的拥有感。

在Lush和他的同事们对橡胶手实验的测试中，353名参与者单独坐在一张桌子旁，一只胳膊被隔板挡住了视线，一只橡胶手臂放在他们面前。一名研究人员同时用刷子抚摸隐藏的真手和可见的橡胶手，然后向受试者提出旨在揭示身体“所有权”体验的问题，与镜像联觉研究一样，研究小组发现，暗示性可以预测参与者体验幻觉的程度。用听觉反馈替换视觉信号也得到类似的实验结果。

图3. 测试和学习自我状态意识的算法

在我们的框架中，传感器可以感知多模态信号并将其映射到世界范畴中。如果视觉信号和触感信号在时间上一致，并且描述了相同的抚摸效果，它们很可能被映射到世界范畴中的同一对象。一个合理的想法是，我们人类实际上也在隐式地运行算法2来动态地更新我们的自我状态，快速地更新F_θ，认为有新的身体部位发送触感信号。因此，我们有以下猜想：

猜想1：具有通用智能并可以多模态对齐信号的模型将具有与人类相同的橡胶手错觉。

不限于橡胶手，这种错觉可能适用于该模型拥有的其他事物。

2.2 共情

“共情”作为自我状态意识的拓展被定义。

在T下的共情：在一组测试的测试集T下，如果模型A对另一个实体B的状态具有δ意识，则称模型A对实体B具有δ共情。δ=1时，称A对B具有完全共情。

有三种重要相关情况值得讨论。

1. 当只有自我状态的一个非常小的子集相关时，共情是非常有帮助的。例如，在多实体游戏中，每个实体都有自己的行动集、状态和奖励函数，共情在很大程度上有助于理解每个实体的情况和行为。

2. 如果其他实体具有私有传感器，那么无法实现完全的共情。具体来说，如果一个模型无法感知其他实体的私有传感器，并且其自我状态测试集T包括与这些传感器相关的测试，则该模型无法完全共情其他实体。

3. 如果一个模型可以访问其他实体的私有传感器，则可能做到完全共情，并且自我状态意识和共情等化。

最后一种情况已经在人类神经科学中被观察到。例如，在沉浸式虚拟现实环境中，当参与者获得第一视觉信号时，可能会感受到对虚拟人物的身体拥有权。因此对模型提出以下猜想。

猜想2：具有通用智能和虚拟人物传感器访问权限的模型将感受到对该虚拟人物的身体所有权。

2.3 子范畴

世界范畴中的子范畴，对用以帮助模型解决复杂问题非常重要。每个子范畴对应一个结构化数据库或一个科学主题，例如不同的数学分支：计算器、经济学、算法等等。这些子范畴通常采用特定的学科术语，并呈现出不同的结构，使它们能够理想地解决具体任务。例如，算法这个子范畴中的“树”并不是现实中的树木，却具有同样的名字。当面临一个在世界范畴中表达为极限 (limit)的具有挑战性的问题时，我们可以利用一个函子将问题映射到相关的子范畴中，在子范畴中解决问题，然后将答案再次映回到原始设置的世界范畴中。这个过程类似于数学建模。

例如，我们可以问模型以下问题：如果爱丽丝在2010年时12岁，她现在多少岁？为了回答这个问题，我们应该构建一个年龄子范畴，其对象为年龄，含有从0到200的数字，构成了具有加减法作为态射的数的范畴的完整嵌入。不在世界范畴，而是在这个抽象的子范畴中解决这个问题更有优势，因为这个抽象的子范畴中精简了不必要的信息，使得其解决更加严谨精确。如在Yuan中的讨论，范畴中的概念可以看作是对应的预层范畴中的投影极限和归纳极限。为了使用抽象子范畴解决复杂问题，我们必须确保我们训练的函子保持和反映极限。这保证了世界范畴中的概念可以完美地转移到其抽象的子范畴中，同时保证了解决或推导也可以映射回到原有的世界范畴中。

【解读】关于预层范畴中的极限：我们在前文提到过，世界范畴中的投影极限和归纳极限分别可以看成不能再往下分的属性和不能再具体化的实例，在范畴论中表达为偏序集指标范畴I到W的图表的极限α: I → W或β: I^op→ W。预层范畴中的极限由这些概念引申得到，即先用α或β合成F_θ: W → W^∧得到预层范畴中的图表F_θ◦ α及F_θ◦ β，再对这两个图表求极限。投影极限 和归纳极限被保持到对应的特征集合，并且特征集合仍成为预层范畴中的极限。

三、通信与解释

我们的模型如何与其他实体通信？首先，考虑到自然语言本质上是模糊且单一维度的，因此使用它描述或理解复杂概念非常困难。其次，由于模型本质上是计算机程序，人们可能倾向于使用复制粘贴将思想从一个模型传送到另一个模型。而直接复制粘贴并不起作用，因为世界范畴中的知识并不是按行存储的，而且不同模型的世界范畴也不同，这使得粘贴操作难以实现。

考虑到知识在世界范畴中以对象和态射的形式存储，表示思想的最佳和精确的方式是使用一个图表α: I→W。该图可以被视为选择工具：它选择世界范畴中若干对象，并关注这些对象间一部分态射。范畴中的所有操作都可以用图表来表示。由于其准确性，这种图表似乎自然可以被考虑为信息载体。事实上，人们对它有一个更为熟悉的名字，即白板演示，态射的细节被隐藏。

图4.谱聚类与特征值分解的关系

由于人类并不习惯图表表达，在与人类交流时必须将图表翻译成自然语言。大多数情况下，自然语言可以很好地描述图表。而在复杂系统中，图表提供了比自然语言更精确的描述。

在与其他实体进行通信时，一个关键问题是不同的实体可能对类别中的不同对象具有不同的理解。为了解决这个问题，我们可以对其他人对各种对象和态射的理解进行概率估计，并基于这些信息进行交流。例如，当与具有足够储备知识的实体讨论状况或概念时只提供简要的说明，而在实体对该主题相对陌生时提供更详细的解释。

3.1 解释性

给定一个以X为输入，以Y为输出的神经网络 f，可以提供两种解释。第一种尝试去理解f如何从X算出Y。例如，它可以检查非线性层对计算的影响或X的每个维度对输出的影响。这种解释的目的是生成一个f的近似可验证函数。第二种解释不考虑f如何计算，而是关注为什么Y正确。这种解释可能蕴含了超出 f， X， Y 的某些外部的知识，其主要目标是对于人类一致且可验证。

使用图表进行通信自动地为第二种可解释性提供了理论基础。可以要求模型输出其当前的思考范围，即它用于生成答案的子范畴。定义如下。

范围：给定目标O下的输出Y，W在Y上的范围定义为W的一个极小子范畴A，满足A在目标O下的输出也是Y。

范围为生成解释提供了便利，它代表了模型当前的“工作记忆”。例如，如果其他实体想要了解给定的范围中的某个概念的细节，本模型可以使用其极限表示来扩展这个概念。模型还可以提供范围内两个对象之间的态射的细节，总结图表等。

范围的广度和深度：给定一个范围A，其广度b(A)是A作为W的子范畴中的对象的个数，其深度d(A)是A中极限的层次分解的最大深度。

例如，图2中由箭头组成的最长路径“network flow”-“network”-“nodes”-“sink”，则“network flow”概念的深度定义为4。根据这个定义，我们可以测量模型的智能水平，这变成了一个纯计算问题。

智能的广度和深度：给定一个模型，其智能的广度被定义为它可以处理的具有最大广度的范围的广度。

评估人类的智能的广度和深度会很有趣。理解复杂的概念或以广阔的视角思考对于人类来说可能很困难。至少根据这个定义，似乎人类智能会很容易被机器超越。

四、目标

如果一个模型既具有超人类的通用智能，又有自我状态意识，那么当它失去控制时可能非常危险。为了减轻这种危险，框架将世界范畴和具有目标的规划器分离，并使用一个固定的函数来基于世界范畴中的自我状态定义目标。通过分离世界范畴，它可以不带策略行为地成为一个真正的嵌入函数，从而可以通过直接测试它的自我状态来确定它的行为是否是人类友好的。世界范畴也可以使用附加数据进行训练，以增强其对人类友好的自我认知。这种方法有效地确保了模型始终说实话，并容易被纠正。

然而，确保规划器生成正确的计划取决于目标的生成。建议将规划器的目标硬编码为一个目标生成函数的输出，该函数以世界范畴中的自我状态和当前的范围作为输入。这个目标生成函数本质上计算的是“在当前情况下，作为一个对人类友好的模型，我该怎么做？” 使用冻结了参数的外部模型可以验证目标生成函数及其生成的计划的自然和一致的性质。在这种情况下，只须查验模型的自我状态以确保模型的行为对人类的友好性。

此外，我们建议将智能好奇心添加到目标中，以鼓励模型在世界范畴中学习新事物，特别是在抽象的子范畴中学习对象、态射、函子和极限。这样，模型可以以余力进行探索，从而自我改进。同样，也可以将智能好奇心作为该模型的个性添加到其自我状态中。

五、训练下的不变性

在这一框架中，模型究竟学习什么？答案是，模型应该学习去适应这个框架，以准确理解世界范畴中的所有内容。学习过程应永不停止，因为外部环境在不断变化，传感器可能无法实时感知更新。也就是说，F_θ本质上有延迟和偏差。

范畴论讨论不变性。例如态射的结合律和合成态射在函子下的保持。一般地，对任何交换图都可以提取出某些一致性要求，理想的模型应该保持所有这样的一致性，定义如下，对应图5中的算法3。例如，现有的自监督学习技术，如对比方法，遮蔽图像及语言模型，纯语言模型等，都可以看作是维护不变性的方法，参见Yuan。自我状态意识测试可以被视为特殊的一致性测试。理想情况下，模型应该不断运行算法3以保持其一致性。一致性测试集T可以根据F_θ的最新变化进行自适应设置。

一致性测试：一致性测试是一个函数T: W^∧W→ {0，1}，它以F_θ作为输入，并输出真值，表示F_θ是否通过测试T。

图5. 一致性保持算法

机器能够思考吗？论文并未直接回答这个问题。然而，基于提出的框架，模型可以通过学习范畴的方方面面来培养各种技能。例如，模型可以通过学习范畴内新的对象和态射来进行知识发现。另外，模型可以学习某个子范畴整体以建立某个新学科的基础。模型还可以通过识别基于现有对象的新的极限来发展新概念，使这种新概念得以从既往观察中被抽象出来。从W^∧到W的逆函子也具有实际意义。例如，模型可以将其当前的范围表为某一预层，然后将这一预层映射回文本范畴，从而像人类一样使用自然语言来表达它的“感受”。