2024年11月22日，2024IDEA 大会在深圳举行。IDEA大会是由IDEA研究院创院理事长、美国国家工程院外籍院士、前微软公司全球执行副总裁沈向洋于 2021 年发起，每一届均为粤港澳大湾区的AI 内行盛会。大会致力在粤港澳大湾区搭建一个分享人工智能技术和凝聚数字产业力量的国际化交流平台。。
2024IDEA大会上，粤港澳大湾区数字经济研究院(IDEA)创院理事长、美国国家工程院外籍院士沈向洋表示，规模化低空经济要解决安全、效率、成本三大问题。他从“点-飞行安全”、“线-航路安全”、“面-运行安全”、“体-社会安全”四个维度，对构建低空经济安全体系进行了阐述。
在大会上，还发布了国内首个低空管理与服务操作系统OpenSILAS1.0Alpha版，该系统旨在统筹、协调、管理、分配低空时空资源，支撑、管理、服务各类低空飞行活动。此外，大会还发起共建OpenSILAS创新联合体，IDEA研究院与17家首批发起单位携手，共同打造一个开放共享、技术领先、不断迭代的系统和平台，建立有实际系统支持的相关低空标准体系。
关于低空经济的人工智能“三件套”——算力、算法、数据。
11月22日，在2024 IDEA大会上，IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋表示，三年前推出的GPT-3用了2T数据，GPT-4经过不断训练实际上使用了20T数据，如果未来推出GPT-5，数据量会达到200T级别的规模。但互联网上已经找不到如此多的数据，未来的重点是如何合成新的数据来训练模型。
IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋。
沈向洋表示，计算行业过去四五十年的发展中，最重要的一件事就是算力不断提升，在摩尔定律之下，每18个月算力几乎增长一倍。随着人工智能的蓬勃发展，特别是深度学习的发展，算力需求变得更大，算力成为生产力。在大模型时代，“首先模型本身很大，参数量非常多，以前百亿参数，现在千亿参数、万亿参数，大模型一直往前走，问题不单单是参数大了以后模型大，对训练的要求高，要能训练这样的模型，数据量也要增长。从某种意义上来讲，要把性能提升，对算力的需求呈现出跟参数的平方关系，这对算力的需求是非常庞大的。”从“摩尔定律”发展到“黄氏定律”（以英伟达首席执行官黄仁勋的名字命名的定律，其预测GPU将推动AI性能实现逐年翻倍），沈向洋打趣道，过去一年他常挂在嘴边的话是“讲卡（芯片）伤感情，没卡没感情”。
2017年Transformer架构推出后，人工智能、深度学习、大模型基本上沿着Transformer条线堆数据、堆算力。OpenAI今年最新推出的o1系列模型，推理学习能力提升。“永远不断有聪明的人做聪明的算法，不断有突破，方法的范式转移是非常值得我们认真思考的。”沈向洋表示，范式变革就是增强学习。增强学习并非新事物，但今天新在打法通用，以前做一个系统只能解一个问题，如今o1模型可以编程、处理物理和化学问题。就像人在思考一样，以前的打法是快思考、一问就答，现在不完全是训练，给出答案时还有一个后训练、后推理的过程。“很像考试时做数学题目，先打个草稿，看看这条路对不对，不对就再倒推另外一条路。”
“过去这段时间，大模型蓬勃发展，不仅仅是大模型、大参数，很重要的一件事情是：数据多。”在数据方面，沈向洋表示，三年前推出GPT-3时用了2T数据，GPT-4经过不断训练，实际上使用了20T数据。“一个T就是万亿，1万亿数据大约等于500万本书，或者等于20万张高清照片，或者等于5000万篇论文。人类历史上到现在为止到底创造了多少本书？大概也就是21T。”
如果未来推出GPT-5，他认为数据量会达到200T级别的规模，而互联网上已经找不到如此多的数据，正如o1模型的强逻辑性合成数据，未来的重点是如何合成新的数据来训练模型。IDEA团队自研了语境图谱技术，解决过往文本数据合成方案的多样性匮乏等问题。该技术为合成数据引入“指导手册”，以图谱为纲，指导用于合成的语境采样。实验结果显示，IDEA团队的方案能持续为大模型带来能力提升，表现超过目前的最佳实践（SOTA）；从token消耗来看，平均节约成本85.7%。目前，该技术内测平台已开放，通过API提供服务。
这次大会还发布了国内首个开放的智能融合低空系统OpenSILAS1.0(Alpha版)，这一系统相当于低空飞行的“大脑”，可用来统筹、协调、管理、分配低空时空资源，支撑、管理、服务各类低空飞行活动。
