Eureka Labs: 1种新型AI 学校

文摘   2024-08-31 07:55   广东  

OpenAI 联合创始人 Andrej Karpathy设想了一个世界, 

在这个世界中,人工智能机器人可以成为“充满热情、擅长教学、耐心无限、精通世界上所有语言”的学科专家。

通过这一愿景,机器人将可以“按需为 80 亿人提供个人辅导”。 

他的最新创业项目Eureka Labs体现了这一想法。

7月17日,在社交媒体上,安德烈·卡帕西(Andrej Karpathy)宣布, 他正在创办一家名为 Eureka Labs 的 AI+教育公司。 

公告:

--- 我们是 Eureka Labs,我们正在建立一种新型的 AI 原生学校。 

安德烈·卡帕西说,Eureka Labs 是他 20 多年来对人工智能和教育的热情的结晶。 

他对教育的兴趣让他从 YouTube 上的魔方教程到在斯坦福大学开始 CS231n,再到他最近的 Zero-to-Hero AI 系列。 

而他在人工智能方面的工作让他从斯坦福大学的学术研究到特斯拉的现实世界产品和 OpenAI 的 AGI 研究。 

到目前为止,他将两者结合起来的所有工作都还只是兼职, 所以,他非常兴奋能够全身心投入并打造出一些伟大的东西,专业的且全职的。 

现在还为时过早,但他想宣布这家公司,这样他就可以公开建立,而不是保守一个不为人知的秘密。 

顺着他的申明,我们可以很容易地来到他的站点:

https://eurekalabs.ai/ 

在上面,目前只有一个《Eureka Labs 简介》(Introducing Eureka Labs)。 Eureka Labs 简介是这样写的 

*************

我们是 Eureka Labs,我们正在建立一种新型的 AI 学校。 

我们如何才能获得理想的学习新知识的体验? 

例如,在物理学方面,我们可以想象与费曼一起学习非常高质量的课程材料,他会指导你每一步。 

不幸的是,充满热情、教学出色、耐心无限、精通世界所有语言的学科专家也非常稀缺,无法按需亲自辅导我们 80 亿人。 

然而,随着生成式人工智能的最新进展,这种学习体验变得容易掌握。

教师仍然负责设计课程材料,但这些材料得到了人工智能教学助理的支持、利用和扩展,该助理经过优化,可以帮助指导学生完成课程。

这种教师 + 人工智能共生关系可以在一个共同的平台上运行整个课程。 

如果我们成功了,任何人都可以轻松学习任何东西,扩大教育的范围(大量人学习某些东西)和范围(任何一个人学习大量科目,超出了今天在没有帮助的情况下可能达到的范围)。 

我们的第一个产品将是世界上最好的人工智能课程LLM101n。

这是一门本科课程,指导学生训练自己的人工智能,非常类似于人工智能教学助理本身的缩小版。

课程材料将在线提供,但我们也计划组织线上和线下团队一起学习。 

今天,我们正在全力打造 LLM101n,但我们期待未来人工智能成为提升人类潜能的关键技术。

你想学什么?

****************

https://github.com/karpathy/LLM101n

自留地君又顺藤摸瓜,找到了Eureka Labs发布在 Github上的课程:

人工智能课程LLM101n 

在本课程中,我们将构建一个 Storyteller AI 大型语言模型 (LLM)。

您将能够使用 AI 创建、完善和说明小故事。

我们将从基础开始构建类似于 ChatGPT 的可运行 Web 应用程序,使用 Python、C 和 CUDA 从头开始,并且只需要最少的计算机科学前提条件。

到最后,您应该对 AI、LLM 和深度学习有相对深入的了解。 

教学大纲

第01章 Bigram Language Model(语言建模) 

第 02 章Micrograd(机器学习、反向传播) 

第03章N-gram模型(多层感知器、matmul、gelu) 

第 04 章Attention(attention、softmax、位置编码器) 

第 05 章Transformer(transformer、residue、layernorm、GPT-2) 

第 06 章标记化(minBPE、字节对编码) 

第 07 章优化(初始化、优化、AdamW) 

第 08 章极品飞车 I:设备(设备,CPU,GPU,...) 

第 09 章极品飞车 II:精度(混合精度训练,fp16,bf16,fp8,......) 

第 10 章极品飞车3:分布式(分布式优化、DDP、ZeRO) 

第11章数据集(数据集、数据加载、合成数据生成) 

第12章推论一:kv-cache(kv-cache) 

第13章推论二:量化(quantization) 

第14章Finetuning I:SFT(有监督微调SFT、PEFT、LoRA、聊天) 

第15章微调II:RL(强化学习,RLHF,PPO,DPO) 

第 16 章部署(API、Web 应用程序) 

第 17 章多模态(VQVAE、扩散变压器) 

附录 需要进一步研究上述进展的主题: 

编程语言:汇编语言、C 语言、Python

数据类型:整数、浮点数、字符串(ASCII、Unicode、UTF-8) 

张量:形状、视图、步幅、连续…… 

深度学习框架:PyTorch、JAX

神经网络架构:GPT(1,2,3,4)、Llama(RoPE、RMSNorm、GQA)、MoE…… 

多模态:图像、音频、视频、VQVAE、VQGAN、扩散

https://karpathy.ai/

安德烈·卡帕西(Andrej Karpathy)本科在加拿大多伦多大学就读,后在大不列颠哥伦比亚大学(UBC)获得硕士学位,2011年开始在斯坦福大学随李飞飞教授攻读博士学位,博士毕业,就成为了OpenAI 的一名研究科学家和创始成员。 

2017年开始担任特斯拉的 AI 高级总监,领导特斯拉自动驾驶仪的计算机视觉团队。2023年重新返回到OpenAI。组建了一个小团队,在 ChatGPT 上改进了 GPT-4。 

之后,与2024年7月宣布创办了这家新的 AI+教育公司:Eureka Labs。 

Will AI Be Your Child's Future Boss?

教育技术学自留地
新鲜、热辣、接地气的教育科技资讯
 最新文章