文章
5
标签
0
分类
0
Home
Archives
Tags
Categories
GZHZK 的个人博客
位置编码：弥补位置信息的问题
返回首页
Home
Archives
Tags
Categories
位置编码：弥补位置信息的问题
发表于
2026-03-08
|
更新于
2026-03-13
|
浏览量:
文章作者:
Zekai Huang
文章链接:
http://example.com/2026/03/08/Position/
版权声明:
本博客所有文章除特别声明外，均采用
CC BY-NC-SA 4.0
许可协议。转载请注明来源
GZHZK 的个人博客
！
上一篇
多想、多做、边试、边学
我已经有一段时间没写博客了，这段时间对我来说是比较忙、比较累，但也收获颇丰的三个月。写这篇博客，主要是记录我这段时间的所思所想和所做，谈谈自己的收获、教训和感悟。 我是华工28届的一名本科生，现在处于大二下。这是一个很特殊的时间段，说早不早说晚也不晚，有很多事可以去做，也有很多选择留给自己去探索。 一、为什么选了算法 我并不是从一开始就确定走算法这条路的。 大一有两门课考得很不理想（60 多 70 左右），那时候我意识到一个问题：我得尽早想清楚自己以后到底要做什么。开发是一个相对稳妥的选项，对本科生也友好，但我没有选。 转折点发生在我大量使用 AI coding 工具的那段时间。我切身感受到，所谓功能应用层的代码对 AI 来说太轻松了（当然这是指大代码库的整体架构能力，现阶段 AI 还稍弱——也有可能是我没试过最好的模型，网上确实有人让 AI 重构代码库在极短时间内取得极好的效果）。一个方向如果 AI 能极快地完成大部分工作，那它对人的核心价值就所剩无几了。 我不想把时间赌在一个 AI 越来越擅长的方向上。 算法不一样。算法本质是数学与计算机的巧妙融合，很多原理根源于数学，也移...
下一篇
Transformer 核心架构逐层拆解
Transformer 架构 是2017年由 Vaswani 等八位 Google 大佬在论文《Attention is All You Need》中提出的基于自注意力机制（Self-Attention）的序列建模架构，它完全抛弃了循环结构，转而完全依赖一种名为注意力（Attention）的机制来捕捉序列内的依赖关系，从而实现了真正意义上的并行计算。它彻底改变了自然语言处理领域（Natural Language Processing, NLP）及其他序列任务的方式，对当今大语言模型（Large Language Model, LLM）的发展做出了跨时代的贡献。借此博客，分享一下我对 Transformer 架构的理解。希望对你有帮助！ Why Self-Attention? .compact-p p { margin: 10px 0; } 当今大语言模型的一大核心任务是处理长文本，专业一点的说法是序列转档。在 Transformer 架构提出之前，传统的序列转档模型依托于循环神经网络（Recurren...
Zekai Huang
记录技术与生活
文章
5
标签
0
分类
0
Follow Me
公告
欢迎来到我的个人博客
最新文章
多想、多做、边试、边学
2026-06-11
位置编码：弥补位置信息的问题
2026-03-08
Transformer 核心架构逐层拆解
2026-03-02
NLP 文本表征：Word Embedding + Tokenizer + BPE 算法全解
2026-02-25
Hello World
2026-02-24
