如何在2024年成为一名AI工程师?

教育   2024-07-20 18:08   中国香港  


“AI is the new paradigm to build all technology.“

(AI是构建所有技术的新范式)

—— Clem Delangue(HuggingFace联合创始人)


在2024年想要成为一名AI工程师

我们可以把这一过程拆解为3个阶段


(Image by Harshit Tyagi)

初学者(Beginner)、中级(Intermediate)、

高级(Advanced)

这个三个阶段有着不同的技能要求和学习内容

但都有着同一个先决条件,这个条件关涉的问题是

什么样的人适合成为AI工程师?

🧑‍💻

答案是计划提升AI工程技能

程序员(Programmers)、软件工程师(SDEs)

分析师(Analysts)、数据科学家(Data Scientists)

由于这是一项核心工程技能

具体来说需满足以下先决条件:

🧑‍💻

  • Python/JS 编程有中级水平的理解

  • 理想情况下,必须具有编写至少 2-3 个中等复杂应用程序的经验,例如使用 Flask、Rails 或 Node.js 编写的博客 Web 应用程序

  • 至少可以轻松地阅读构建文档

  • 可以轻松地在 VS Code 等 IDE 中编写代码

  • 使用 git 和 GitHub 虽然很重要,但可以在从事项目的过程中学习


⬇️⬇️⬇️

在满足先决条件的基础上

这三个阶段又有着不同的技能要求


(Image by Harshit Tyagi)

初级阶段:

  • 了解 LLM 的基础知识 ——知道 ChatGPT 的高层工作原理

  • 学习面向开发人员的提示工程,如何编写提示来提高 LLM 的响应

  • 学习从 API 中获取数据,学习处理 JSON 数据

  • 学习调用封闭和开源 LLM 模型、函数调用、传递提示和解析响应

  • 学会从对话中管理上下文空间

  • 学习创建和自动执行 - 系列操作 - 使用 langchain 的链

  • 使用 Gradio 或 Streamlit 进行 POC 和演示的基本应用程序开发

  • 部署应用程序以使其可访问 - 在 HuggingFace Space 或 Streamlit 云上进行基本部署

  • 多模式生成——使用 HuggingFace 库的代码、图像、音频transformer


中级阶段:

  • 了解向量嵌入和向量数据库

  • 学习如何在应用程序中使用矢量数据库

  • 构建检索增强生成 (RAG)

  • 开发先进的 RAG 管道,如子问题查询引擎,可以在经过多个数据源后提供响应

  • 构建代理——迭代工作流程来完成一项大任务

  • 构建多代理应用程序,其中多个代理共同协作以提供更好的解决方案

  • 使用多个代理实现自动化 — Autogen 和 Crew AI

  • 评估 RAG — RAGA 框架

  • 管理数据库、检索、部署完整的应用程序、版本控制、日志记录和监控模型行


高级阶段:

  • 对预先训练好的 LLM 进行微调,以获得特定领域的知识和定制响应,例如医学研究、金融研究、法律分析

  • 整理数据集并设计(ETL 管道)管道以进行模型微调

  • 评估和基准测试模型性能

  • LLMOps——通过模型注册、可观察性和自动化测试构建完整的 e2e 管道

  • 构建多模式应用程序——文本和图像的混合语义搜索

  • 构建 SDK、软件包和定制解决方案,以帮助其他开发人员

  • 使用即时黑客攻击等技术并通过检查漏洞和潜在风险来采取防御措施来保护 AI 应用程序


🧑‍💻大可以依据这些条件技能要求

结合自己的实际情况进行相关技能的学习

以上就是今天的IT资讯分享

想了解更多关于澳洲IT圈的最新消息欢迎扫码进群~

    澳洲IT圈求职,扫描上方二维码
 即可加入匠人学院求职群!


澳洲IT圈
澳洲IT圈为广大澳洲IT以及关心澳洲的朋友们提供专业的工作内推、工作机会,拥有澳洲领先的IT社群,超过10000的成员
 最新文章