开源这个词其实是从软件开始的,指的是一个系统或项目的原始代码,让大家自由使用、修改和分享。后来就扩展到其他领域了,比如你分享了一道菜的配方和制作过程,也可以说是开源。开源社区很重要,它像是一个群,里面有好美食评论家、吃货和改良者,共同进步,大家都能得到益处。
俗话说:天下没有免费的午餐,但是开源精神证明了这句话是错的,天下是有免费的午餐的,而使用开源的公司,就是吃货。开源可以让需要用到这项技术的公司不用苦苦研发,也不用给技术提供方付费,简单来说就是可以给公司省很多钱。
所以,开源产品会成为大部分公司的首选,这不只是逻辑上的推演,开源Linux的发展就是先例。世界上使用最多的系统不是windows、也不是ios、不是android,而是一种大部分人没有听过的服务器系统Linux。很多公司用Linux作为服务器系统,因为它是开源免费的,这个系统在用户看不见的地方提供着各种互联网重要服务。比如你现在看到的这篇文章是腾讯的服务器发给你的,而他们的服务器用的就是Linux。
开源精神是互联网得以高速发展的强大动力,那些基础的、先进的、透明的技术真的可以不用钱就能得到,极大地节省了公司成本,在未来,AI也是一种基础的系统技术,每个公司都需要AI来提供他们的商业效率。
就拿我个人来说,使用部署在个人笔记本上的llama3.1:8b就已经达到我预期的效果了,我不需要购买AI公司提供的服务,不需要缴纳每个月的订阅费用,这大大减少了我的开支。
对于大部分公司而言更是如此,公司可能自己已经有一定的算力,那就不需要购买企业级的AI服务,同时,还可以调整AI模型参数,变成更适合公司业务的大模型。让大模型在某一方面变得很强大的技术主要有两种。一种是使用prompt提示词,RAG检索增强生成的本质也是提示词,另一种是fine-tuning微调大模型。这其中最重要的技术就是微调模型的参数,我们知道大模型的参数量是非常非常大的,这其中有很多的参数是对于公司业务来说是没有实际帮助的,所以,微调大模型是一个很符合未来绝大部分公司的技术。
这个发展过程可以和Linux系统的发展过程类比,每个公司使用Linux并招聘Linux工程师,在接下来的几年,AI行业也会有一种类似的发展轨迹,公司业务流程进行智能化,公司使用开源AI技术,购买基础算力,招聘AI工程师。
甚至有一种可能,公司私有化训练AI的不是AI工程师,而是另一个AI,这在技术上是可以实现的,同时我也相信,这个过程中还是有需要用到人的地方。在如今的全球竞争激烈的商业格局下,企业更是在不断寻找新的优势,而AI技术正成为了各大公司眼中的一座金山。就像信息时代曾经要求人们掌握电脑技能一样,未来的岗位都将是那些熟练掌握AI技术、能够高效运用其威力的个人。每当我们回顾历史的进程,不难看出,每一次商业变革都会推动人类社会迈向更美好的未来。从工业革命到信息时代,这些变革不仅带来了巨大的经济效益,还催生了新职业、新技能和新价值观。因此,AI技术已经成为一个关键的驱动力,它将会赋予企业新的生命力、创造更多的就业机会,并且引领人类社会迈向更加高效、智能和互联的未来。这其中,开源AI技术会成为主流,会像Linux服务器一样,而开源AI会成为企业的首选,开源AI可以帮助企业降低开发和部署AI技术的成本,提高研发效率,增强竞争力。同时,也可以帮助企业更好地应对数据驱动决策的需求,实现智能化管理。而用户使用这些企业的产品也就相当于使用开源产品,所以开源AI一定是未来。
AI炼金术师是一种很形象的比喻,想要打造一个超越预期的AI模型并不是一件简单的事,需要掌握其中原理,对AI技术有深刻的理解,甚至需要一点哲学思维、极强的逻辑能力、还有理解复杂事物的能力。AI是个超级复杂系统,但是把符合预期的AI炼出来也不是什么很难的事,最基本的就是在开源大模型的基础上做fine-tuning微调。微调的过程学会了并不难,这是AI炼金术师的重要能力。只需要三个步骤就能微调大模型。一是数据集的收集和清洗、二是基本模型的导入、三是配置训练设置和开始微调训练以及验证结果。还能使用function-calling的能力来使得AI与外界交互,function-calling就是一种AI连接物理世界的过程,最基础的个人可以使用AI来帮你发邮件、控制设备,而企业级的AI可以让AI做更加有效益的事情。比如可以让AI操作农业器械,实现自动化+智能化的农业。同样的,还有自动化工业。这个过程很神奇,只需要基础的编程能力就能实现。最简单的就是让AI打开网页,大家都可以试一试,只需要打字,AI就能理解并通过function-calling规则来生成响应,程序检测到响应就能执行命令调用操作。上面是自定义的方法调用,我们更推荐使用openai提出的方法调用方式,你可以通过在公众号回复“AI方法调用” 来获得一份关于openai建议的Function-calling原理过程的PDF。所以,开源AI工程师或戏称AI炼金术师,就是把AI用在公司业务上,主要是三个技术层面,提示词Prompt、微调Fine-tuning、方法调用Function-calling。