transform和transmute transformer和lstm区别

预训练模型综述--Albert,xlnet,bert,word2vec

Albert，xlnet，bert，word2vec 通过预训练模型实现迁移学习，迁移学习本质上是在一个数据集上训练模型，然后对该模型进行调整，以在不同的数据集上执行不同的自然语言处理功能。

Word2Vec：Word2Vec是一种基于神经网络的词嵌入模型，它将每个单词表示为一个稠密的向量，捕捉到单词之间的语义关系。可以使用预训练的Word2Vec模型，也可以根据自己的数据进行训练。

应用 BERT 模型后，该模型能够理解所有这些关联点之间的关系。双向训练很难实现，因为默认情况下，在前一个词语和下一个词语的基础上调节每个词都包括多层模型中预测的词语。

语言模型介绍

unigram（一元模型）最简单的模型，假定所有词互相独立，相当于0st order假设，不考虑单词之间的顺序。

大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。

语言模型主要分为规则模型和统计模型两种。统计语言模型是用概率统计的方法来揭示语言单位内在的统计规律，其中N-Gram简单有效，被广泛使用。

在自然语言中，我们的目标是对句子理解，对句子生成。但是由于计算机对电脑理解有一些障碍：模糊、不确定、不完整等。 我们在这里简单介绍语法树Syntax Tree和语言模型。

关于语言模型的介绍 语言模型是根据语言客观事实而进行的语言抽象数学建模，是一种对应关系。语言模型与语言客观事实之间的关系，如同数学上的抽象直线与具体直线之间的关系。

层次化透明度传播

为了实现在一个高分辨率层级上对输入图像的透明度的传播，我们提出了一个全新的、层次化的透明度传播结构，其中神经网络可以看做是多层的、有不同图的图卷积网络[22]，透明度可以在每两个像素之间传播。

媒体组合的优点有实现了信息的多层次化；使信息集中传播；可带来冲击力的乘积效果；可实现最大的到达率与到达次数。

易于实现和维护。这种结构使得实现和调试一个庞大而又复杂的系统变得易于处理，因为整个的系统已被分解为若干个相对独立的子系统。

金鱼缸是玻璃做的，透明度很高，不论从哪个角度观察，里面的情况都一清二楚。“金鱼缸效应”也可以说是“透明效应”。它是一种比喻，也就是极高透明度的民主管理模式。

网络媒体一般不具有独立的采访权，所以网络新闻采访权受限制；网络编辑以整合为主；网络新闻编辑是跨专业的综合性工作 ；新闻资源的循环利用 ；采访与写作的多媒体特色 ；层次化地组织新闻 。

NLP预训练语言模型(三):逐步解析Transformer结构

1、Transformer是近两三年非常火的一种适用于NLP领域的一种模型，本质上是Encoder-Decoder结构，所以多应用在机器翻译(输入一个句子输出一个句子)、语音识别(输入语音输出文字)、问答系统等领域。

2、Multi-Head Attention就是把Scaled Dot-Product Attention的过程做h次，然后把输出 合起来。

3、Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。

4、思考：导致视觉和语言的masked autoencoder 不一样的三大原因 规模大的简单算法是深度学习的核心。在NLP中，简单的自我监督学习方法能够从模型的规模中获益。在计算机视觉中，实用的预训练范例主要是监督式的。

RNN的研究发展过程

这就是RNN根据前面N个token来预测第N+1个token的过程。之所以RNN可以预测第N+1个token，是因为hidden state包含了前面N个token的信息。

第一步：创建模型，模型包含两部分，第一部分是Pytorch提供的RNN层，第二部分是一个全连接层，用于将RNN的输出转换成输出目标的维度。

神经网络变得越来越复杂。在人工智能领域常听到DNN（深度神经网络）、CNN（卷积神经网络）、RNN（递归神经网络）。其中，DNN是总称，指层数非常多的网络，通常有二十几层，具体可以是CNN或RNN等网络结构。

因此，题主一定要将DNN、CNN、RNN等进行对比，也未尝不可。其实，如果我们顺着神经网络技术发展的脉络，就很容易弄清这几种网络结构发明的初衷，和他们之间本质的区别。

图像处理和模式识别等技术的快速发展，也大大地推动了机器视觉的发展一个完整的机器视觉系统的主要工作过程如下：工件定位检测器探测到物体已经运动至接近摄像系统的视野中心，向图像采集部分发送触发脉冲。

本文研究了vanilla RNN、LSTM和GRU单元。这是一个简短的概述，是为那些读过关于这些主题的文章的人准备的。