记录一下一个想法,银河帝国里的一个重要setting就是心理史学,假设是在trillion people level上人类行为存在一个数学基础,使得其是统计意义上可预测的,通过某种模拟机制或者还是一个比较数学的方程来描述,也可以理解为依概率发生。
非常有趣的是LLM也可以看作对全人类一类广泛的行为(通过文字代理的行为)进行了一个非常成功的建模,使用的token也正好在T level。联想到hrt在训练tick data上的更大的foundatuon model,而且观察到了持续的loss下降,也就是scalkng。结合cv,一个串联这些现象理解的方式是,nlp或者tick data都是humans! generated data,如果一个human或者一类human的脑回路是可以用一个mlp近似的,那这也就不再显得奇怪了。神经网络win或许关键就在于,其确实使用了正确的函数族去拟合了这些人类生成数据,或者说正确的建模了这些数据(文本,人类trader产生的tick data,对image的人类认知)的底层生成过程(即生物神经网络的bagging或者是一大堆参数不同的神经网络) 如果从这个角度来说,我们确实可能需要一个有很多参数的函数族去模拟这么多人类产生的集体性行为,特别是考虑到人类的很多行为带有进化来的,或者社会习得的一些属性,而不是自然规律般唯一而数学可由一些简单原理确定其唯一性的,毕竟可以有很多生物进化之可能性。所以Large neural model是比数学方法更好的建模人类的工具,但前提是!这是人类生成的大量数据。