下图梳理了神经网络和深度学习所涉及的知识体系。该知识体系可以分为三大块：机器学习、神经网络和概率图模型。
1. 机器学习
机器学习可以分为监督学习、无监督学习和强化学习。机器学习的基本概念以及三要素为：模型、学习准则和优化算法。深度学习是机器学习的分支，机器学习分为监督学习、无监督学习及强化学习三个方向，具体内容在下文中会详细介绍。
2. 神经网络
神经网络作为一类非线性的机器学习模型，可以更好地实现输入和输出之间的映射。关于神经网络，需要掌握其优化和正则化方向，注意力机制和外部记忆。神经网络包含三种主要的神经网络模型：
前馈神经网络；
卷积神经网络；
循环神经网络。目前，越来越多人也投入到图神经网络中的研究中来。
3. 概率图模型
概率图模型为机器学习提供了一个更加便捷的描述框架. 其基本概念包括模型表示、学习和推断. 目前深度学习和概率图模型的融合已经十分流行. 其中，比较重要的图模型有：
两种概率图模型：玻尔兹曼机和深度信念网络；
两种概率生成模型：深度生成模型和序列生成模型。
机器学习算法可以按照不同的标准来进行分类：
按照函数