8月15日参加CCF 的线上活动,叫大模型赋能的网络安全。在讨论环节,谭校长提了一个问题:大模型发展到哪个阶段了?这个问题当时我回答说:按Gartenr的Hype Cycle,快到是第一阶段的顶点了。
这两天Gartner发了相关报告,从图中可以看出,Gartner的观点比我保守一些,但也确实离第一阶段顶点不远了。
为什么会有这个结论?需要看一下大模型的优缺点。
这一年多,大模型在安全产业得到迅速推广。微软的Security Copilot引领潮流,国内公司也迅速跟进。
最多场景的应用,是安全运营,各个大厂都重金投入,甚至喊出了安全自动驾驶的口号,要超越微软。从实际应用看,大模型在告警解读,数据获取,调用工具等方面,均表现出不凡的能力,对降低安全运营人员的能力和数量要求上,确实很有价值,尤其是自然语言的人机交互,是历史性的跨越。价值很好,这点毋庸置疑。
大模型在代码分析,漏洞处理方面也得到很好的应用。在供应链安全领域里,有一些公司,在使用大模型解决传统的代码漏洞问题,效果也很不错。
还有一些公司将大模型应用于辅助代码开发,效果也非常好。在文字及图片生成领域,大模型被政治正确玩坏了,各种枷锁。但代码生成不存在这样的问题,所以,这个领域当前发展非常好。
随着大家对大模型的深入应用,大模型的局限性也表现出来。
大模型的输出还不够理想,让它写文章,洋洋洒洒一大篇,但其实没什么观点。很多大模型都推出来了自动生成ppt的功能,但用过多家,感觉都还差点意思。
大模型本身缺少安全能力。所有大模型,都不具备基本的访问控制能力(各家的用户名密码登录机制是外围实现,不是大模型能力),所有人权限都一样,导致大模型无法处理敏感信息,只适合处理知识性的内容。针对大模型的攻击也日渐多起来,以至于大模型安全本身成了热门。
大模型的逻辑能力明显不够。今年最流行的词是Agent,有各种定义,OpenAI将其定义为”以大模型为大脑驱动的系统,具备自主理解,感知,规划,记忆和使用工具的能力,能够自动化执行完成复杂任务的系统“。简单说,你提一个目标,它能直接交付结果。当前的现状是,你提一个简单的目标,它能交付,但复杂的,还真不行,这个问题,主要障碍就是它的规划能力还比较弱。所有的大模型规划能力都比较弱。曾经被大家预期很高的GPT5,其实最大的预期,还是在规划能力上,但它持续跳票,说明openai也没搞定这个问题。
大模型缺少自己的临时记忆(存储)能力。训练完成后,大模型的内容基本不再改变,实时的学习及记忆能力都没有。RAG是个临时方案,有一些作用,但它就象一个教授在做研究,写论文,让一个小学生给它查资料,还必须按资料内容输出,这是标准的降智,逻辑就不通。不是说RAG没用,它确实是个很妥协的方案。大家预期非常高的函数调用能力(function calling),每次都要把所有函数的相关信息通过prompt输入进去,根本是个弱智的方案。当然openai说这个问题可以通过微调解决,但这个同样是降智逻辑,不是合理方案。
以上这些,都需要基础模型的能力提升,目前各家的能力都还不行,或者还需要一些基础理论方法的提升。
大模型走到今天这个阶段,并不是大模型没用,而是这一年多,大模型烧了太多的钱,吸引了太多的眼球,空前拉高了人们对它的预期,而当预期达不到的时候,会自然进入泡沫破裂期。
但也可以放心,大模型是未来的重要技术,过了泡沫破裂期,会快速走到上升期,那将是长期的发展黄金期。从发展路径上看,它在曲线上的上升进度明显快于其它技术,也是未来发展的重要信号。
END