原文：
www.kdnuggets.com/2017/10/7-types-artificial-neural-networks-natural-language-processing.html
作者：Olga Davydova，数据怪兽。
人工神经网络（ANN）是基于大脑神经结构的计算非线性模型，能够通过仅考虑示例来学习执行分类、预测、决策、可视化等任务。
人工神经网络由人工神经元或处理单元组成，并组织成三个互连的层次：输入层、可能包括多个层的隐藏层和输出层。
人工神经网络 (en.wikipedia.org/wiki/Artificial_neural_network#/media/File:Colored_neural_network.svg)
输入层包含将信息传递给隐藏层的输入神经元。隐藏层将数据传递给输出层。每个神经元具有加权输入（突触），一个激活函数（定义给定输入的输出），以及一个输出。突触是将神经网络转换为参数化系统的可调参数。
带有四个输入的人工神经元 (en.citizendium.org/wiki/File:Artificialneuron.png)
输入的加权和产生激活信号，该信号传递到激活函数以从神经元获得一个输出。常用的激活函数包括线性、阶跃、 sigmoid、tanh 和修正线性单元（ReLu）函数。
线性函数
f(x)=ax
阶跃函数
Logistic（Sigmoid）函数
Tanh 函数
修正线性单元（ReLu）函数
训练是权重优化的过程，其中最小化预测的误差，使得网络达到指定的准确度水平。确定每个神经元误差贡献的方法称为 反向传播，它计算损失函数的梯度。
通过使用额外的隐藏层，可以使系统更加灵活和强大。具有多个隐藏层的人工神经网络被称为 深度神经网络 (DNNs)，它们可以建模复杂的非线性关系。
一个感知机 (upload.wikimedia.org/wikipedia/ru/d/de/Neuro.PNG)
多层感知机 (MLP) 具有三个或更多层。它使用非线性激活函数（主要是双曲正切或逻辑函数），使其能够分类不可线性分隔的数据。每一层的每个节点都连接到下一层的每个节点，使网络全连接。例如，多层感知机自然语言处理 (NLP) 应用包括语音识别和机器翻译。
典型的 CNN 架构 (en.wikipedia.org/wiki/Convolutional_neural_network#/media/File:Typical_cnn.png)
卷积神经网络 (CNN) 包含一个或多个卷积层、池化层或全连接层，并使用了前面讨论的多层感知机的变体。卷积层对输入进行 卷积操作，将结果传递到下一层。这种操作使得网络可以更深且参数更少。
卷积神经网络在图像和语音应用中表现出色。Yoon Kim 在 卷积神经网络用于句子分类 中描述了使用 CNN 进行文本分类任务的过程和结果[1]。他展示了一个基于 word2vec的模型，并进行了一系列实验，针对多个基准进行测试，表明该模型表现优异。
在 从零开始理解文本 中，Xiang Zhang 和 Yann LeCun 证明了 CNN 在没有对单词、短语、句子以及任何其他句法或语义结构的了解的情况下，可以取得出色的表现[2]。语义解析 [3]，同义句检测 [4]，语音识别 [5] 也是 CNN 的应用领域。
1. 谷歌网络安全证书 - 快速进入网络安全职业生涯。
2. 谷歌数据分析专业证书 - 提升你的数据分析能力
3. 谷歌 IT 支持专业证书 - 支持你的组织在 IT 领域
-
每个数据科学家都应该知道的三种 R 库（即使你使用 Python） b.org/anthology/K15-1013](https://www.aclweb.org/anthology/K15-1013)
数据怪物 帮助公司和获得资助的初创企业研究、设计和开发实时智能软件，以利用数据技术提升业务。
原文。已获许可转载。
相关：
-
机器学习翻译与谷歌翻译算法
-
5 个免费资源，帮助你入门深度学习自然语言处理
-
我如何在过去 2 个月开始学习 AI
1. 谷歌网络安全证书 - 快速进入网络安全职业的快车道。
2. 谷歌数据分析专业证书 - 提升你的数据分析技能
3. 谷歌 IT 支持专业证书 - 支持你的组织进行 IT 支持