《the witness》的结局猜想是,整个游戏是对人工智能学习人类智能的一个终极测试。
“巧合”的是,今日读到一篇文章,恰恰是讲到人工智能如何在游戏中学习规则以便达成任务:
* 2016年2月26日 在Arxiv上发表的pre-print:《A Roadmap towards Machine Intelligence》
(1)
常有人问我,【YOLO】为什么learning rate太高时会出现“NAN”的情况,导致训练失败。这里浅要谈一下原因。
如果使用Rectified Linear Unit(ReLU)作为activation unit的话,不能使learning rate太高,否则可能让某些神经元达到死寂状态,变成0,而且不可逆转,然后就再也学不到东西了。
如果要克服这一点,可以用 leaky ReLU,或者更新的 parametric ReLU (PReLU), Randomized ReLU(RReLU)。随机性可以防止overfitting——实验证明RReLU效果最好,train出来error最小。
(2)
引申一下,其实使用regularization,也是为了防止overfitting——
不同的regularization的方法,是在update weights的时候,采用了不同的方式,来限制weights的变化。
概念实体是人们为了区分事物建立的高维实体,在脑海中建立高维的结构,来区分事物。这个高维的曲面,是weights,即概念的壁垒和原则。人们通过认知调整概念,也通过概念来获得认知。
为了更直白、直观、通俗地解释不同regularization方法,我在这里使用类比和隐喻。Regularization是对概念和高维曲面的一种“装修”的方式,通过限制作用,将高维曲面的粗糙原型变得更加柔和。其理念是,具有一般化的概念应该能识别任何具有相同性质的事物,而不是仅仅对范例(training examples)进行过度解读(over-fitting)。过度解读往往造成这种概念和高维曲面具有过多细节,形状不够柔和。通过regularization能够强迫概念是柔和的,这样在训练的过程中智能会去学习事物的本质,而不是去钻牛角尖。
以下逐个分析一些常见的regularization的方法——
L2 regularization
* 相当于做陶艺,用柔和的手,在陶瓷(weights,即概念)上制造曲面
L1 regularization
* 相当于用锋利的刀,削木头,制造工艺品(weights,即概念),有棱有角
Elastic net regularization
* 是L2和L1的结合,是细腻的工匠,削一下材料,再用磨砂打磨
Max Norm constraints
* 限制w最大值,相当于有一个模子,挤压一下,超出的部分会被挤回去
Dropout
* 随机使某些weight一定几率不改变,而改变另外的weights。
* 相当于理发师使用带有锯齿的剪刀修剪头发,一缕头发有长有短,清新自然。
直觉化、使用隐喻可以更好地认知事物,符合人类认知的特点。在与读者您分享心得的过程中,广涵也建立了与以往知识的联系。诚然,万物间是相关联的,这种联系的制造其实并不牵强。
之前的两篇文章都有过对灵魂的讨论。
结合今年开始火热的虚拟现实VR,我有了一些新想法,可以作为对原文的补充。
《胡思乱想集——其四》和《关于灵魂》里面提到,我们操控游戏中的马里奥,马里奥的灵魂就是我们自己——只不过输入是手柄,而反馈是局限的视觉信息,甚至都不是沉浸式的。
而电影《阿凡达》里面的脑电波同步,输入就是脑电波,反馈是另一个肉体的全套反馈体系包括视觉听觉和触觉。阿凡达的身体就犹如一台机器,一个VR硬件。
未来的VR,短期内只有视觉和听觉,没有触觉和知觉。操控的是计算机里的虚拟avatar而不是现实世界的肉体avatar。不过VRSE这个视觉的VR已经挺令人兴奋的了。期待虚拟现实和现实产生直接交互的那一天。
如此说来,灵魂和肉体不是不可以分家。灵魂确实必须有一个宿主和归宿,但未必必须是大脑。而且大脑未必是那个最本源。
——大脑有可能只是一个脑电波接受方!(相当于客户端)如果思维的本源从更远处过来,那么启示、潜意识和脑电波云计算也就解释得通了。