2022 年你应该知道的深度学习技术

多年来，深度学习真的起飞了。这是因为我们可以获得更多数据和更多计算能力，从而使我们能够产生更准确的输出并更有效地构建模型。深度学习的兴起已应用于语音识别、图像识别、在线广告等不同领域。

深度学习最近在解决特定任务（例如图像识别）方面的表现优于人类。深度学习所达到的准确度使其变得如此受欢迎，每个人都在想办法将其应用到他们的业务中。

如果您想在了解不同技术之前进一步了解深度学习，请查看我写的这篇文章：深度学习：它是如何工作的。

深度学习技术有多种深度学习模型可用于解决复杂的任务。

多层感知器 (MLP)

多层感知器是一种前馈人工神经网络，其中一组输入被馈送到神经网络以生成一组输出。MLP 由输入层和完全连接的输出层组成。

MLP 是如何工作的？

MLP 网络将数据馈送到输入层。
神经元层相互连接，使信号沿一个方向通过。
MLP 使用输入层和隐藏层之间的现有权重计算输入。
激活函数用于确定触发哪些节点，例如 sigmoid 函数和 tanh。
使用训练数据集，MLP 训练模型以更好地理解自变量和目标变量之间的相关性和依赖关系。

为什么我们需要了解多层感知器？

自适应学习：多层感知器能够有效地学习数据并表现良好。
非常流行：多层感知器是图像识别、垃圾邮件检测和股票分析的首选技术。
准确性：与其他基于概率的模型相比，多层感知器不会对概率做出假设。
决策制定：多层感知器通过训练包含所需的决策功能。
通用逼近：多层感知器提供超过 2 层，允许反向传播已证明可以找到任何数学函数，并且可以将属性映射到输出。

卷积神经网络

卷积神经网络 (CNN)，也称为 ConvNet，是一种前馈神经网络。它通常用于图像识别，通过处理像素化数据来检测和分类图像中的对象。该模型旨在解决复杂的任务、预处理和数据编译。

CNN 是如何运作的？

CNN 由多个层组成：

为什么我们需要了解卷积神经网络？

特征学习：卷积神经网络可以通过学习不同的特征，在没有任何人工监督的情况下自动检测特征的重要性。
计算有效：卷积神经网络使用独特的卷积、池化、参数共享和降维，使模型易于部署。
准确性：卷积神经网络是一种强大而高效的模型，在解决特定任务方面的表现优于人类

递归神经网络 (RNN)

循环神经网络用于处理时间序列数据或涉及序列的数据。RNN 使用先前状态的知识并将其用作当前预测的输入值。

因此，RNN 可以使用其内部存储器记住以前的输入。它们用于时间序列分析、手写识别、自然语言处理等。

RNN 的一个例子是长短期记忆。

长短期记忆网络 (LSTM)

长短期记忆网络是一种可以学习和记忆长期依赖关系的循环神经网络。它的默认行为和 LSTM 的目标是长时间记住过去的信息。

LSTM 是如何工作的？

LSTM 使用一系列“门”来控制信息的处理、数据如何进入、如何存储以及如何离开网络。

LSTM 有三个门：

忘记门——这是 LSTM 忘记（减少权重）先前状态的不相关部分的地方。
输入门——这是确定是否应将新信息添加到单元状态（网络的长期记忆）中的地方。这是通过使用先前的隐藏状态和新的输入数据来完成的。
输出门——这是决定新的隐藏状态。这是通过使用新更新的单元状态、先前的隐藏状态和新的输入数据来完成的。

为什么我们需要了解长短期记忆网络？

记忆：长短期记忆网络学习和记忆长期依赖的能力非常有益。这提高了模型的整体性能。
排序：由于排序，长短期记忆网络在自然语言处理中非常流行。如果您在一段文本上训练模型，则该模型能够生成新句子，模仿文本的风格。
加入深度学习周刊的 16,000 位同事，了解最新产品、收购、技术、深度探索等。

生成对抗网络 (GAN)

生成对抗网络使用两个相互竞争的神经网络，因此得名“对抗性”。

用于构建 GAN 的两个神经网络称为“生成器”和“鉴别器”。生成器学习生成假数据，而鉴别器从假信息中学习。它们用于确保模型预测的准确性。

GAN 是如何工作的？

在初始训练阶段，生成器学习在网络中生成假数据。
Discriminator 学习区分和学习真实样本数据和生成器生成的假数据之间的差异。
然后 GAN 将这些结果发送给生成器和判别器，以不断更新模型。

为什么我们需要了解生成对抗网络？

无数据标记：生成对抗网络是无监督的，因此不需要标记数据来训练它们。这大大降低了成本。
锐利的图像：与其他技术相比，生成对抗网络目前产生最清晰的图像。
反向传播：生成对抗网络只能使用反向传播进行训练。

受限玻尔兹曼机 (RBM)

受限玻尔兹曼机是一种循环神经网络，其中节点做出带有一定偏差的二元决策。它由 Geoffrey Hinton 发明，通常用于降维、分类、回归、特征学习和主题建模。

RBM 使用两层：

可见单位
隐藏单位

可见单元和隐藏单元具有连接的偏差。可见单元连接到隐藏单元，它们没有任何输出节点。

RBM 是如何工作的？

RBMs 网络有两个阶段：前向传播和后向传播。

输入被输入人民币，然后被转换成一组数字。这是对输入进行编码的前向传递阶段。每个输入都与单独的权重相结合，并使用一个偏差。然后网络将输出传递给隐藏层在后向传递阶段，在前向传递阶段输入的一组数字然后被转换以形成重建的输入。使用激活函数、单个权重和整体偏差，RBM ​​将输出传递到可见层行重建。

在可见层阶段，RBM ​​将重建输入与原始输入进行比较

为什么我们需要了解受限玻尔兹曼机？

不同用途：受限玻尔兹曼机可用于分类、回归、主题建模和特征学习。
SMOTE：受限玻尔兹曼机使用 SMOTE，它选择靠近特征空间内的示例，并在示例之间画一条线，沿着这条线生成一个新样本。
Gibb 的抽样：受限玻尔兹曼机可以识别缺失值。
特征提取器：受限玻尔兹曼机可以将原始数据转化为隐藏单元，解决非结构化数据的问题。

何时使用这些技术？

多层感知器 (MLP)

当您的数据集采用由行和列组成的表格格式时。通常是 CSV 文件可用于将一组基本真实值作为输入的分类和回归任务。

卷积神经网络

这种技术非常适用于图像数据集。这方面的一个例子是 OCR 文档分析，它可以识别数字图像中的文本。
理想情况下，输入数据是二维字段。但是，它也可以转换为一维以使处理更快。如果模型在计算输出时需要很高的复杂性，也应该使用这种技术。

递归神经网络

有 4 种不同的方式可以使用循环神经网络。这些是：

一对一：单个输入产生单个输出。一个例子是图像分类
一对多：产生一系列输出的单个输入。这方面的一个例子是图像字幕，其中从单个图像中检测到各种单词
多对一：产生单个输出的输入序列。这方面的一个例子是情绪分析
多对多：产生一系列输出的输入序列。这方面的一个例子是视频分类，您将视频分割成帧并分别标记每个帧

生成对抗网络

生成对抗网络在图像和其他形式的媒体中被广泛用于识别深度伪造。您可以将其用于：

图像修复——您可以通过恢复图像的缺失部分来做到这一点。
图像超分辨率——您可以通过将低分辨率图像升级为高分辨率来做到这一点。
如果要创建从图像到文本的数据。

受限玻尔兹曼机

由于玻尔兹曼机将学会调节，因此在监控系统时可以很好地使用这种技术。当您构建二进制推荐系统时，它是有效的在使用非常特定的数据集时也专门使用它。

结论

深度学习仍在不断发展，并且多年来变得非常流行。可以说，越来越多的人和企业将深度学习纳入他们的工作。