NLP 核心技能:注意力机制和Transformer架构全面剖析

文摘   2024-07-31 07:10   北京  

ChatGPT爆火的同时,导致大语言模型(LLM)得到了空前的关注,各行各业的从业者开始应用ChatGPT提升日常工作效率。

从某种程度上讲,ChatGPT 会颠覆以往的 NLP 行业的生态,对整个NLP行业进行了降维打击。除了一些大厂,很多科研院校已经跟不上NLP领域最先进的技术了。ChatGPT 的功能强大,大家应该有目共睹。传统的NLP很难超越chatGPT,所以我们能做的就是跟紧行业发展的脚步,学习前沿强大的NLP技术。

对于NLPer来说,学习如何构建一个自己的chatGPT是很有价值的。不仅可以增强你对NLP模型的理解,还使你能够自定义模型、解决实际问题并探索创新机会
深蓝学院根据大家的需求开设了生成式预训练语言模型:理论与实战课程。本门课程会从经典方案开始讲起,最后带着大家实现自己的mini-ChatGPT在讲解原理的同时,课程非常注重代码实践,算法的代码实现穿插于每个算法理论之中。

深蓝学院mini-ChatGPT项目介绍

扫码报名,了解详情

课程导师

黄佳

新加坡科技研究局人工智能高级研究员,主攻方向为NLP大模型的研发与应用、持续学习、AI in FinTech、AI in Spectrometry Data。曾著有《零基础学机器学习》、《数据分析咖哥十话》等多部畅销书籍,深耕数据科学领域多年,积累了丰富的科研项目和政府、银行、能源、医疗等领域 AI 项目落地实战经验。

课程大纲

(点击查看大图)

课程目标

本门课程采透彻理解以ChatGPT为代表的生成式语言模型的原理以及代码实现,自主开发属于自己的ChatGPT。
(1)掌握语言模型的经典与主流算法,及其发展脉络;
(2)深刻理解ChatGPT的若干核心技术;
(3)动手实现mini版本的ChatGPT。

学后收获

1.  你将获得现代NLP技术的关键内核和完整脉络(摒弃一切已经不需要过多了解的过时东西)

2.  你将搭建起一个属于你自己的简版ChatGPT(生成式语言模型)
3.  你将掌握NLP领域编程基本功和PyTorch主要内容
4.  你将掌握注意力机制和Transformer架构的核心思想以及代码实现

咨询更多

扫码报名,了解详情

小微模型
一起探索AGI世界,解锁AI实用技能,伴您步入智能生活!
 最新文章