神经网络与深度学习

随着AlphaGo与李世石大战的落幕，人工智能成为话题焦点。AlphaGo背后的工作原理“深度学习”也跳入大众的视野。什么是深度学习，什么是神经网络，为何一段程序在精密的围棋大赛中可以大获全胜？人工智终将会取代人类智慧吗？

本书结合日常生活中的寻常小事，生动形象地阐述了神经网络与深度学习的基本概念、原理和实践，案例丰富，深入浅出。对于正在进入人工智能时代的我们，这些内容无疑可以帮助我们更好地理解人工智能的原理，丰富我们对人类自身的认识，并启发我们对人机智能之争更深一层的思考与探索。

《神经网络与深度学习》是一本介绍神经网络和深度学习算法基本原理及相关实例的书籍，它不是教科书，作者已尽量把公式减少到极少，以适应绝大部分人的阅读基础和知识储备。《神经网络与深度学习》涵盖了神经网络的研究历史、基础原理、深度学习中的自编码器、深度信念网络、卷积神经网络等，这些算法都已在很多行业发挥了价值。

《神经网络与深度学习》适合有志于从事深度学习行业的，或想了解深度学习到底是什么的，或是有一定机器学习基础的朋友阅读。

第0章写在前面：神经网络的历史

第1章神经网络是个什么东西

1.1买橙子和机器学习

1.1.1规则列表

1.1.2机器学习

1.2怎么定义神经网络

1.3先来看看大脑如何学习

1.3.1信息输入

1.3.2模式加工

1.3.3动作输出

1.4生物意义上的神经元

1.4.1神经元是如何工作的

1.4.2组成神经网络

1.5大脑如何解决现实生活中的分类问题

第2章构造神经网络

2.1构造一个神经元

2.2感知机

2.3感知机的学习

2.4用代码实现一个感知机

2.4.1Neuroph：一个基于Java的神经网络框架

2.4.2代码实现感知机

2.4.3感知机学习一个简单逻辑运算

2.4.4XOR问题

2.5构造一个神经网络

2.5.1线性不可分

2.5.2解决XOR问题（解决线性不可分）

2.5.3XOR问题的代码实现

2.6解决一些实际问题

2.6.1识别动物

2.6.2我是预测大师

第3章深度学习是个什么东西

3.1机器学习

3.2特征

3.2.1特征粒度

3.2.2提取浅层特征

3.2.3结构性特征

3.3浅层学习和深度学习

3.4深度学习和神经网络

3.5如何训练神经网络

3.5.1BP算法：神经网络训练

3.5.2BP算法的问题

3.6总结深度学习及训练过程

第4章深度学习的常用方法

4.1模拟大脑的学习和重构

4.1.1灰度图像

4.1.2流行感冒

4.1.3看看如何编解码

4.1.4如何训练

4.1.5有监督微调

4.2快速感知：稀疏编码（Sparse Coding）

4.3栈式自编码器

4.4解决概率分布问题：限制波尔兹曼机

4.4.1生成模型和概率模型

4.4.2能量模型

4.4.3RBM的基本概念

4.4.4再看流行感冒的例子

4.5DBN

4.6卷积神经网络

4.6.1卷积神经网络的结构

4.6.2关于参数减少与权值共享

4.6.3 举个典型的例子：图片内容识别

4.7不会忘记你：循环神经网络

4.7.1什么是RNN

4.7.2LSTM网络

4.7.3LSTM变体

4.7.4结论

4.8你是我的眼：利用稀疏编码器找图像的基本单位

4.9你是我的眼（续）

4.10使用深度信念网搞定花分类

第5章深度学习的胜利：AlphaGo

5.1AI如何玩棋类游戏

5.2围棋的复杂性

5.3AlphaGo的主要原理

5.3.1策略网络

5.3.2MCTS拯救了围棋算法

5.3.3强化学习：“周伯通，左右互搏”

5.3.4估值网络

5.3.5将所有组合到一起：树搜索

5.3.6AlphaGo有多好

5.3.7总结

5.4重要的技术进步

5.5一些可以改进的地方

5.6未来

第6章两个重要的概念

6.1迁移学习

6.2概率图模型

6.2.1贝叶斯的网络结构

6.2.2概率图分类

6.2.3如何应用PGM

第7章杂项

7.1如何为不同类型的问题选择模型

7.2我们如何学习“深度学习”

7.3如何理解机器学习和深度学习的差异

7.4大规模学习（Large Scale Learning）和并行计算

7.5如果喜欢应用领域，可以考虑以下几种应用

7.6类脑：人工智能的目标

参考文献

术语

很多朋友告诉我，一本书总是要加一个前言才算完整。如果书没有前言，就好像只有山没有水一样，没有意境。

对我来说，这是我的第一本技术科普类读物。之所以把它称作第一本，是因为我从前没写过书，哪怕是一篇超过4万字的文章（论文不算）都没写过，所以听编辑说写书有字数要求时，我都没有概念，心想不就写本书吗？easy！

写着写着发现不对了，自己没有为一本书建立好整体知识体系！从2014年开始断断续续地写着，中间有段时间甚至想过放弃。我之所以没放弃，无非是因为觉得做事要有始有终。如果我写得不好，那是我的能力有限；如果因为一些之前估计不到的难度就放弃了，那是态度问题！

为什么说这是一本科普类读物呢？至少在我写书时，很多人（都是IT、软件这个行业的人）对于神经网络、深度学习（Deep Learning）等都毫无概念，如果连这些人对神经网络等都没有概念，可以想象其普及程度有多低。但我觉得深度学习并不是只有大学学府或几个相关的专业学生才能研究它；并不是只有公司里这个领域的专家才能研究它，它是属于整个大众的东西。

对于技术层面的东西，将会慢慢简化再简化，如同编程语言一样，开始是汇编语言，后来是C语言，再后来有了C++，再后来有了Java，甚至出现了Python、JavaScript，它们降低了进入门槛，可以让更多人使用。对的，编程语言的进化就是让更多人更便捷地使用。对于深度学习来说，基本的算法库至少目前来讲已经很多很多了，这些算法库基本覆盖了我们的现代编程语言，让人能够更方便地使用。微软甚至出了一个图形化的深度学习在线工具，你只要拖曳下鼠标就能得到一个算法并训练它，极大地加快了学习效率。

我强调这一点是想说：技术的进步扩散了这些技术，最终目标也许就是机器像人类那样思考，让人类想什么有什么，而不仅仅局限于技术层面；而今天深度学习的进化已经可以使机器通过学习已有的知识就能推导出或预测出未知的事物，想起这点时常让我激动，让我觉得创造出一个机器生命体是有可能的！所以写本书的意义在于让人们不过多地关注公式及推导过程，而是关注它的使用方法，把人类的想法迅速转换成生产力才是目的，毕竟只有人类的想法才是最有价值的！

按以上思路，我安排书的整体目录架构如下。

第0章，介绍机器学习、神经网络的历史，好让大家有基本的了解。

第1章，解释大脑的运作结构和如何利用仿生学产生逻辑上的神经元和神经网络。

第2章，我们用仿生学的知识试着构造一个神经网络（感知机）并使用它做些事情，解释了XOR问题。在2.6节给出一些例子，让我们能更好地了解神经网络是如何分类学习和预测的。

第3章，介绍深度学习的基本概念，深度学习和神经网络的联系。

第4章，介绍深度学习的常用方法。

第5章，介绍AlphaGo。

第6章，两个重要概念，迁移学习和概率图模型PGM。

第7章，给出了一些经验以加快大家学习和研究的效率。

按照惯例，在前言的最后一部分应该做一些感谢，首先要感谢张杰同学，是他介绍了我和电子工业出版社的编辑认识。感谢我的编辑刘皎，对于一个刚刚进入写书圈子的新人，她给予了我很多帮助和支持。另外，还要感谢我的同事唐炜，他在我写书的后期给了一些很好的建议。

最后要感谢的，是我的夫人李茉，为了让我完成这本书的创作，她付出了家庭方面的很多努力，也为成书给了很多建议和帮助。

谢谢他们！

本书部分资料来源于网上，由于链接失效或无法知道原作者，因此没办法注明来源。请原作者看到后和我联系：wuanch@gmail.com。