文章
4
标签
0
分类
0
Home
Archives
Tags
Categories
GZHZK 的个人博客
位置编码:弥补位置信息的问题
返回首页
Home
Archives
Tags
Categories
位置编码:弥补位置信息的问题
发表于
2026-03-08
|
更新于
2026-03-13
|
浏览量:
文章作者:
gzhzk (Zekai Huang)
文章链接:
http://example.com/2026/03/08/Position/
版权声明:
本博客所有文章除特别声明外,均采用
CC BY-NC-SA 4.0
许可协议。转载请注明来源
GZHZK 的个人博客
!
下一篇
Transformer 核心架构逐层拆解
Transformer 架构 是2017年由 Vaswani 等八位 Google 大佬在论文《Attention is All You Need》中提出的基于自注意力机制(Self-Attention)的序列建模架构,它完全抛弃了循环结构,转而完全依赖一种名为注意力(Attention)的机制来捕捉序列内的依赖关系,从而实现了真正意义上的并行计算。它彻底改变了自然语言处理领域(Natural Language Processing, NLP)及其他序列任务的方式,对当今大语言模型(Large Language Model, LLM)的发展做出了跨时代的贡献。借此博客,分享一下我对 Transformer 架构的理解。希望对你有帮助! Why Self-Attention? .compact-p p { margin: 10px 0; } 当今大语言模型的一大核心任务是处理长文本,专业一点的说法是序列转档。在 Transformer 架构提出之前,传统的序列转档模型依托于循环神经网络(Recurren...
gzhzk (Zekai Huang)
记录技术与生活
文章
4
标签
0
分类
0
Follow Me
公告
欢迎来到我的个人博客
最新文章
位置编码:弥补位置信息的问题
2026-03-08
Transformer 核心架构逐层拆解
2026-03-02
NLP 文本表征:Word Embedding + Tokenizer + BPE 算法全解
2026-02-25
Hello World
2026-02-24