雷锋网(大众号：雷锋网)按：本文为Cookie Engineer写就，主要对机器学习进行了简单的介绍，雷锋网编译，未经允许不得转载。
常常有人问我如何开始学习机器学习，他们面对的最大困难就是机器学习背后的数学原理。我认可其实我也不爱好数学。数学是对事物的一种笼统描写，用数学来描写机器学习，会过于笼统，且不简单懂得。所以在这个系列的文章中，我试探应用伪代码或许Java来描写我所讲述的内容。
我在GitHub上创立了项目仓库，我会将一些试验代码同步到代码库中，以便您能够追随我的过程，或许在这些试验代码之上完成自己的物品。这些代码运转时也许会时不时报错，所以我称之为试验代码 J
你必须晓得的第一个事情是同一个问题会有不一样的处理方案。同一个问题也许会有3个处理方案，当你已经学会基本概念后，我会深刻商量更复杂的处理方案。我也试图将描写的内容尽也许与语言无关、和框架无关。本文将介绍的第一个处理方案是遗传编程和进化算法。
0.神经网络的基础
神经网络不是很难明得。对新手来讲比较难描写。缘由是每个人都在应用数学来解释神经网络，那我想在这里会用不一样的办法来描写它。下头我们议论一个简单的神经网络，它的构造包括三个不一样的“种别”：输入层，隐蔽层和输出层。
图1 神经网络基本架构
输入层通常代表传感器，其中输入数组的每个值的范围是从0.0到1.0。输出层代表对问题的解，取值也许为真假二值，也也许是地位矢量（例如游戏中，操为难象的x/y/z坐标值）。
神经网络能够用来拟合复杂函数，已经复杂的分类决策问题（达到Bayesian处理方案的限制，但今后会出现）。神经网络是蒙昧的，他们只能懂得从0.0到1.0的值，这意味着我们必须为其编写适配器，以便它能够懂得它的寄义，适配器在现实世界中通常称为“战略”，它除过将值转换为0和1以外，不会做其他事情。例如，当我们想要在乒乓球游戏中猜测桨的移动地位时，我们能够应用这样的代码：
let input = [ 0, 0, 0 ]; // x,y,z
input[0] = entity.position.x / screen.width;
input[1] = entity.position.y / screen.height;
input[2] = 0; // we don't have a z position, have we?
好比要有中心思惟主题，要么早已隐约了对她的记忆。是自张季鸾到王芸生都坚持的文人论政。
if (answer[0] > 0.5) {
entity.moveUpwards();
} else {
entity.moveDownwards();
}
目前我们晓得一个神经网络能够计算输入，输出是/否团圆结果，或许持续值。神经网络每层包括多个神经元。简单的前馈网络以每个神经元与前一层中的每个神经元（从左到右走）相衔接的方法树立。
这些衔接应用用来描写数据流的流向，每个衔接线对应一个权重。这里的重要部分是输入神经元没有衔接到上一层，所以compute( )函数必须对输入神经元做出反应，依据输入数组的值直接获得结果。所谓的激活函数，是用来描写前后两层中，相互联络的神经元的转换关系。这里激活函数的概念有点隐约，缘由是每个人都有自己的看法。固然，你需求晓得的是，它只是一个简单的函数，其呼应形式以下：
图2激活函数Sigmoid的呼应
const _sigmoid = function(value) {
return (1 / (1 + Math.exp((-1 * value) / 1)));
};
总之，你只需求晓得激活函数是模仿神经元如何工作的一种办法。激活函数在现实中只是取一个值并将其转换为另外一个值。它的举动方法相似于动画世界中的每帧之间的转换。
迅速提高首先意味着神经元能够迅速学习，迟缓步进意味着神经元过度拟合收敛更慢。过度拟合和议论是一个更复杂的话题，但我直截了本地疏忽它，以节俭时间和凌乱。
1.遗传编程和进化
遗传编程的核心思惟是应用基因组的形式来表示网络构造。遗传编程的庞大优势是，当遗传编程与进化算法相结应时，它能够特别快地获得很好的网络构造。一个基本的进化算法老是包括三个不一样的周期：培训、评价、繁殖，反复以上过程。
图3 进化算法过程
进化算法的实施过程以下：
STEP1 种群初始化：对种群的个别赋随机值，这样您便能够迅速获得一个结果。固然，应用随机值来求最优解是有点漫无目的。
STEP2 顺应度评价：顺应度是评价循环过程当中每个个别过程值，用来评价个别接近最优解的水平。例如，在超级马里奥游戏中，与左的距离、分数、杀敌数等能够用作顺应度。
STEP3 个别选择，种群中顺应度高的个别被选入交配池，获得与其他顺应度高的个别穿插繁殖的机遇，从而产生新的个别，参加子代种群。穿插算子的操作相似于人类繁殖的过程，父、母两条染色体相互调换基因片断，固然“儿子”个别会更像父亲，而“女儿”个别更像母亲。变异算子的主要用处是坚持种群的多样性，避免种群堕入部分最优，所以其普通被设计为一种随机变换。
图4 个别穿插表示图
STEP4 推断是不是达到最大迭代次数，若否，则跳至STEP2。
穿插算法通常在两个基因的截断点处进行调换，子个别各获得一部分，如女儿获得父母基因的比例分别为70% / 30%，儿子获得父母基因的比例分别是30% /70%。
let dna_split = (Math.random() * mum_genome.length) | 0;
let daughter = new Genome();
let son = new Genome();for (let d = 0; d < mum_genome.length; d < dl; d++) {
if (d > dna_split) {
son[d] = mum_genome[d];
daughter[d] = dad_genome[d];
} else {
daughter[d] = mum_genome[d];
son[d] = dad_genome[d];
}}
我们能够用1个基因的取值代表神经网络权重的值。这意味着神经网络的权重中的每个也许的取值能够看作是对等的基因个别。
图5用基因来表示神经网络中神经元的权重
进化算法的典范问题是，当在时间尺度上进行视察时，会出现即便迭代时间再长，求解的结果其实不会改良太多，趋近于饱和状态。这主如果缘由是突变率太高，没办法求得最优解。高变异率尽管能够让收敛速度更快，但是，迭代时间长了以后，高变异率也许会致使丧失全局最优解。
假如你想做一个简单的基于进化算法的人工智能演示，你能够用流行的浏览器打开下头的链接，是一个叫Flappy Plane演示程序。
图6 Flappy Plane演示程序
正如你也许看到的，总会有一个时间点，进化算法会收敛，顺应度趋于饱和，神经网络不会再进化到一个更完美的状态。没有反向传播法的话，纯真靠随机化序列是没办法获得最优解的，除非有足够多的时间来迭代，也许至死我们也没办法获得最优解。
NEAT(基于增强拓扑神经网络)和HyperNEAT处理这个问题的思绪是通过迭代过程当中，通过火析网络的体现和突变来转变网络。例如，每个基因组能够自我评价顺应度，只有“更好”的基因组存活，而较差顺应度的基因会被记下来，用于随机化。
2.NEAT
NEAT是一个利器，很难用一种简单的方法解释。假如你看过SethBling的Mari/o演示，你也许已经晓得了这个概念。我能够推举目前观看这段视频，以便您能更好地懂得我在下头的解释。
需求了解的基本概念是：NEAT是一个用来视察神经网络的性能和分析他们的举动的算法。假如举动分析以为该神经网络的体现更好，那么该基因被选择，进入交配池。假如体现不怎样好的话，基因（或基因组）将被标志为失活。
NEAT更多应用用于ANNS(自顺应神经网络)，而不是典范的神经网络，缘由是ANNS能在外部信息的基础上转变内部构造。ANN的思绪是空手起家，从0个神经元开始，让算法找到神经网络的完美构造，因为神经元的衔接能够被随机去除和创立，所以通过视察网络体现，我们能够得知在哪里产生神经元，会加速便我们获得最优解的速度。
图7 自顺应神经网络表示图
NEAT应用CPPN (构成形式生成网络) 作为举动评价模块，它基本上是一个（也许是增强的）神经网络，学习输入和神经网络性能的关系，它的长处是能够记住ANN的构造，在给定足够时间的要求下，总能找到解。
举动分析能够削减不用要的随机化构造，我们能更好地自动猜想将来“最也许的”值。
图8 CPPN分析神经网络/个别，并将举动相似的分为一类
在典范的NEAT场景中，交配池由代表网络构造的基因个别构成，它是一个多个别的概念。这些个别老是相互竞争，老是试图用“适者生计”的规则来选选择子代的个别，让他们的DNA能延续，成为神经网络权重。
图9 多个别系统通过顺应度排序代理，并确定优势个别
多个别系统中的优势个别是能够进入交配池，以填充下一个进化循环的种群。下一个循环的交配池通常包括以下三品种型：
1. 20%幸存者（最高顺应度个别的穿插繁育获得的子代）；
2. 20%突变体（在原个别基础上随机突变神经网络）；
3. 60%子代个别（最高顺应度的个别与其他个别的交配繁育获得的子代）；
下一步
下一篇文章也许会介绍反向传播和增强学习，和将这两种算法与进化算法进行比较。请记住：它们不是独自互斥的概念，进化算法是能够联合增强型神经网络一起应用。
via Machine Learning for Dummies: Part 1，雷锋网编译
雷锋网版权文章，未经授权制止转载。概况见转载须知。
郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。
