人工智能与数字经济广东省实验室(深圳) 2024年8月 月报快讯

文摘   2024-09-01 09:31   广东  

光明实验室 

2024年8月 月报快讯

人工智能与数字经济广东省实验室(深圳)




新闻中心



光明实验室科研实力再获肯定:2024年度国家自然科学基金首批项目立项结果揭晓,四位青年才俊成功获批




GML MONTHLY





8月23日,2024年度国家自然科学基金首批项目公布立项结果。光明实验室凭借优秀的科研创新能力,成功获批四项青年科学基金项目(简称“青基”),彰显了实验室在前沿科技探索与人才培养方面的强劲实力与广阔前景。

光明实验室获批青年科学基金项目


光明实验室获批青年科学基金项目

项目名称

负责人

项目类别

顾及相位一致的MT-InSAR川藏铁路冻土形变测量及活动层厚度反演

熊思婷

青年科学

基金项目

车联网中数字孪生辅助的移动边缘智能关键技术研究

夏有华

面向城市点云的可泛化无偏语义感知技术研究

杨国庆

面向多模态时变金融数据的大语言模型关键技术研究

施斯


GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)


国内首飞!光明实验室泛在感知与空间智能团队开辟天然溶洞未知受限空间无人机自主探索式测绘新路径




GML MONTHLY





近日,光明实验室泛在感知与空间智能团队自主空中移动感知组(ARMS小组)于文率老师带队本组工程师,偕同广勘院的两位技术专家,成功完成了国内首次大型天然溶洞无人机自主探索式建图测绘实测验证任务,充分验证了相关技术产品的实用性价值,为自然资源部倡导推动的“低效用地再开发“在天然溶洞确权方面的实践落地提供切实有力的新型技术手段。

技术小组在二号溶洞现场合影


此次实测验证活动,技术小组选择了位于中国西南地区的三处典型天然溶洞作为目标。这几处溶洞地处偏远山区,地形复杂,内部空间结构错综复杂,很多区域难以人工进入。技术小组使用自主研发的无人机搭载先进的激光雷达传感器,快速而精准地对整个溶洞内部进行了全面扫描。

无人机扫描(第一视角)


一号溶洞与二号溶洞因为尺度较小,无人机仅需几分钟便可实时建立出较为全面的洞穴模型。其中,一号溶洞地势较为开阔,而二号溶洞的洞口窄矮,具体结构是狭窄的管道连接外界,内部为封闭腔体。因此,正常情况下人类难以涉足,洞内情况未知,危险无法预警。无人机以其卓越的灵活性和精确度,迅速而全面地穿梭于溶洞深处,实现了对溶洞内部结构的无死角扫描捕捉。

一号溶洞(上)、二号溶洞(下)建图


三号溶洞因尺度较大,经过无人机数小时的连续飞行和数据采集,技术小组最终获得了一份高精度的三维溶洞模型。该模型不仅记录了溶洞内部的整体结构,还包含了细节丰富的岩壁、地貌、顶部的钟乳石分布等信息。溶洞内部未知空间实现高精细化建模,为后续的低效用地开发、地质研究、遗迹保护等工作奠定了坚实的基础。

三号溶洞建图(高度超过50米)


对此,ARMS小组成员无人机结构工程师吴海明认为:“在探险队深入大型或结构复杂的溶洞进行探索时,我们的无人机产品能够作为先锋,预先飞抵下一探索区域,实时传输区域内详细的三维信息。这些信息将帮助探险家制定更加安全且高效的探险路径,有效实现辅助洞穴探险的目的;同时也有利于开发未测明的低效用地区域,以便后续进行合理开发使用,使其充分发挥土地或空间的生产力和价值。”


“相较于传统的地面手持测绘方式,无人机的机载激光雷达系统在一些大尺度的溶洞勘测任务钟发挥了极大优势。” 小组负责人进一步阐述道,“溶洞顶部及高处那些人工测量难以触及的空间区域,一直是测绘工作的难点。但无人机能够自由飞行,将激光雷达对准这些难以触及的区域进行精准测绘,确保每一寸空间都被精准捕捉。”

图左:三号溶洞的超大空间

图右:无人机自主探测现场


除了激光雷达技术的运用,在本次溶洞探测任务中,技术小组还在自主研发的无人机平台上集成了照明设备与高清相机,旨在精准捕捉并近距离记录溶洞边界和顶部的影像信息。针对特定复杂环境,小组的无人机产品还可以集成热成像相机、辐射或有害气体测量仪及超声波测厚仪等多种传感器。这些多元化传感器的集成,使得无人机能够采集特定场景下的全景影像、热成像、气体浓度和厚度等丰富的数据信息,不仅丰富了地质勘探、水文分析、生物、化工等领域的资料库,更为跨学科研究提供了宝贵且不可或缺的实证支持。


"我们希望通过这次创新性探测,为天然溶洞的勘测和研究开启一个新的时代。"广勘院的专家们表示:"无人机在溶洞自主探测的应用,将大大提升我们对这些特殊地质遗产的认识和保护能力。"


此次天然溶洞无人机探测任务的圆满完成,不仅展现了产学研深度融合的强大力量,为科技创新与实际应用之间搭建了坚实的桥梁,更是对现有溶洞勘测技术“从0到1”的探索。光明实验室期待,通过持续的技术研发与优化,无人机能够成为溶洞勘测领域不可或缺的“空中之眼”,为科研人员提供更加全面、精确、高效的数据支持。


GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)


共探政务大模型合作新机遇!深圳太极数智技术有限公司到访光明实验室




GML MONTHLY





2024 年 8 月 6 日,深圳太极数智技术有限公司副总裁吴锦松,偕同常务副总裁李勇猷、副总裁黄文杰,共同莅临光明实验室调研,并召开座谈会。光明实验室主任助理张博研究员带队接待,自主机器智能团队副研究员施斯,高级工程师董淳光,媒体智能团队负责人马飞,成果转化部经理韩笑,科研发展部李海鹏等出席会议。


会上,副研究员施斯、高级工程师董淳光向到访的三位领导详细介绍了“光明·政务大模型”的应用背景、核心技术优势及实际应用案例。


施斯博士介绍,光明·政务大模型是一款基于广东政务服务网、光明区政府在线和光明数据发布等多方数据源的人工智能政务服务助手,旨在为民众提供便捷的政府信息查询和咨询服务。这一创新工具不仅减轻了政府工作压力,还使民众更轻松地获取所需信息,促进了政府与民众之间的互动和合作。


董淳光高级工程师现场演示了“光明·政务大模型”在政务服务中的具体应用示例,如政务服务咨询、政策法规咨询等,生动展示了该大模型如何帮助政府机构提升工作效率,优化用户服务体验,也让深圳太极数智对“光明·政务大模型”的潜力和价值有了更直观的认识。

座谈会现场


深圳太极数智的三位领导对“光明·政务大模型”表示了肯定,并就如何将“光明·政务大模型”更好地融入政府实际工作中,提出了许多建设性建议。经过充分沟通,双方初步达成了合作意向,期待未来在政务服务智能化领域开展更加紧密的合作。

座谈会现场


未来,光明实验室与深圳太极数智将以此次座谈为契机,进一步加强交流与合作,共同探索政务服务智能化的新路径,为政府数字化转型贡献智慧和力量。

座谈会现场双方在光明实验室合影


GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)


中山翠亨集团携手西湾智慧、深中产业服务共访光明实验室,探寻AI合作新发展




GML MONTHLY





2024 年 8 月 7 日,中山翠亨集团有限公司党委委员、董事、副总经理巢辉,偕同总经理助理、战略投资部总经理胡学鑫,战略投资部经理何继洪,翠亨新区科技金融局局长郑志源,以及西湾智慧(广东)信息科技有限公司中心副主任龙冰心,深中(广东)产业服务有限公司招商经理陈冬妮,共同莅临光明实验室调研,并召开座谈会。光明实验室媒体智能团队负责人、“天才新星”马飞率队接待到访嘉宾,灵动纪元团队负责人、“天才新星”宋纪元,自主机器智能团队副研究员施斯,高级工程师董淳光,科研发展部李海鹏等出席会议。


会前,巢辉副总一行参观了光明实验室展厅,初步了解了实验室的科研环境。马飞博士为到访嘉宾介绍了光明实验室的主要团队、重点研究方向,包括卫星遥感+AI的碳汇平台、工业元宇宙、柔性计算、优视摄影、智慧城市等。实验室工程师也以四足机器人为例,对实验室的部分科研成果进行了演示。

马飞博士介绍实验室基本情况

机械狗演示


会上,马飞博士围绕实验室在AI视频分析、智能识别、视频内容生成等方面的核心技术优势,进行了全面而深入的介绍,并分享了多个成功案例。宋纪元博士介绍了大模型算法在不同机器人本体上的部署方案,并通过应用实例展示了具身智能在机器人的交互中根据人体意图生成最优化控制策略。施斯博士、董淳光工程师介绍了实验室的“光明 · 政务大模型”,为双方的合作意向提供了专业建议和技术层面的支持,拓宽了合作的思路与视野。

座谈会现场


到访嘉宾详细阐述了各自企业在AI视频技术方面的应用需求、技术瓶颈及未来发展规划,并就合作的具体模式、技术对接方案、项目推进计划等细节进行了深入交流与探讨。

座谈会现场


通过此次调研访问,光明实验室与多家企业之间建立了更加紧密的联系,达成了初步合作意向。各方均表示,将以此次调研为契机,充分发挥各自的优势资源,为推动AI视频技术领域的创新、应用与发展注入新的活力与动力。

双方在光明实验室合影


GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)


智慧城市团队李敏敏副研究员受邀参加中国自然资源学会资源大数据分会2024年学术年会




GML MONTHLY





2024年8月16-18日,中国自然资源学会资源大数据分会2024年学术年会在山东聊城顺利召开。受自然资源部信息中心大数据应用中心主任郭文华研究员的邀请,在大数据、人工智能与自然资源智能化管理的主题下,智慧城市团队李敏敏副研究员作了关于《AI赋能自然资源数智化治理》的报告。

大会开幕式合影(左二:李敏敏)

李敏敏在现场报告


该报告详细阐述了知识图谱结合大模型在自然资源数智化治理三大典型应用场景(严控资源安全底线、优化国土空间格局、促进绿色低碳发展)中的重要作用,提出了自然资源领域知识图谱的全流程构建和应用技术方法,探索了多模态生成式AI大模型在历史文化遗产空间重塑的应用,为实现自然资源知识体系构建、知识服务和数智化治理提供技术了支撑。


这一系列研究成果赢得了业界高度认可,李敏敏博士因此荣获青年学者优秀报告奖,彰显了其在该领域的杰出贡献与潜力。

优秀青年报告颁奖现场


GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)


成功晋级决赛!光明实验室大数据智能处理与分析团队在光创赛上绽放创新火花




GML MONTHLY





近日,在创新浪潮涌动的深圳,第十六届中国深圳创新创业大赛光明区预选赛暨第八届光明区创新创业大赛(简称“光创赛”)完成了半决赛的角逐。本届光创赛共吸引了1095个项目的报名,报名数量位列全市前三,并经过初审-初赛-半决赛的层层筛选与激烈比拼,最终,来自高端装备制造、节能环保新材料、新一代信息技术、生物医药行业等领域的111个优质项目成功晋级光创赛行业决赛。其中企业组72个,占比64.9%;团队组39个,占比35.1%。


由光明实验室大数据智能处理与分析团队的何玉林、叶璇、成英超、李旭等组成的“光明智渔”团队,参加团队组“新一代信息技术”赛道,凭借其“光明AI数字化陆基水产养殖一站式解决方案”项目大放异彩,赢得了评委与观众的高度认可,成功从230支半决赛队伍中脱颖而出,晋级光创赛决赛。

光创赛现场


在光创赛的舞台上,“光明智渔”团队凭借其项目的创新性、实用性和经济性,赢得了评委们的青睐。本项目基于数字化AI赋能水产养殖,实现陆基水产养殖的数字化转型升级,以设备、养殖、销售三大板块的数字化建设为核心,提供一整套陆基养殖新商业模式,切实符合新质生产力的“高科技”、“高效能”、“高质量”三大特征。

项目示意图


此次光明实验室团队的成功晋级,不仅是团队不懈努力与智慧的结晶,更是光明实验室在科技创新、促进产业升级道路上不断努力的结果。“光明智渔”团队将于9月中上旬踏上行业决赛的舞台,期待他们能在行业决赛中继续取得优异成绩!

光创赛现场


GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)


光明实验室创新无人机技术,助力深圳龙华排水有限公司解决箱涵检测技术难题




GML MONTHLY





2024年8月13日,光明实验室泛在感知与空间智能团队的自主空中移动感知小组(ARMS)进行了一场外场测试与技术实用性展示。此次活动由博铭维技术股份有限公司牵头,光明实验室、龙华排水有限公司等单位参加。

现场数据采集


ARMS小组负责人于文率老师为龙华排水公司党委委员、副总经理等一众高层领导介绍了团队ARMS小组自主研发的自主式工程测绘飞行机器人,及其研发目的、创新意义与影响。于文率老师介绍,区别于常规的工业无人机,实验室ARMS小组研发的无人机产品主要服务于矿道、涵洞、隧道、储罐、舱体、等受限空间场景亟需的建图、检测、监测等测量应用,凭借自主化能力,无需被动导航和通信控制,可代替人工进入高层、高风险区完成作业。

于文率老师(中)介绍团队产品

ARMS小组研发的无人机产品


随后,ARMS小组工程师实地进行了该无人机产品的建图测试,将无人机的卓越性能直观展现。龙华排水公司副总经理张伟对其精准、高效的建图效果表示肯定,并高度评价了该产品在有限空间自主巡检方面的潜力。他表示,这一功能与龙华排水公司的需求不谋而合,希望双方在未来可以深化合作、共同实现无人操控的有限空间自主巡检。

产品建图测试现场


此外,光明实验室硕士研究生也在现场为众领导展示了最新科研成果——实景三维采集设备。该设备将激光雷达、相机与IMU等多重空间信息进行融合,并集成于一个小巧的手持设备上,为现场众人带来了与众不同的技术体验。龙华排水的员工们对该设备表现了浓厚的兴趣,并对其实用性、前瞻性给予了肯定评价。

实景三维采集设备


经过多次严格验证,ARMS小组研发的多款产品在面向水务、基建等实体经济行业的测绘和巡检专业化需求,特别是复杂、有限、未知空间等特殊应用场景时,能够提供完备的自主式感规控内核的智能化测绘解决方案。未来,团队将进一步为推动行业进步与发展贡献重要力量。


GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)



科研动态及成果 🏆






GML MONTHLY





光明实验室生成式大模型团队:光明大模型及其助手制作网站

光明实验室"天才新星"姜文浩博士带领的生成式大模型团队,致力于利用国产算力生态,推进大模型的垂直应用和AI Agent的创新。近期,团队推出创新成果——光明大模型及其助手制作网站。模型采用Llama2框架构建,借助同步开发的开放式模型助手网站,可为广大用户探索大模型应用开辟了新的途径与无限可能。


光明大模型

光明大模型是生成式大模型团队基于开源的Llama2框架所训练的大模型。在数据上团队收集到各式开源数据共5.4T,其中包括中英文通用开放语料,数学语料,开放代码,英文论文,中英互译数据等数据。模型参数大小为7B,词表大小为55K,支持中文和英文。当前光明大模型在知识能力与开源基座模型相当,后续团队将扩大数据规模,持续推进光明大模型的训练和迭代,优化推理、数学方面的能力。未来团队将进一步深度融入以华为昇腾算力为核心的国产算力生态建设,推动大模型在国产算力生态平台上的部署与垂直化应用发展。


基于光明大模型的助手制作应用网站

立足于科技服务人民的宗旨,团队成功搭建了基于光明大模型的助手制作应用网站。基于该网站,用户可以通过简单的操作,个性化定制语言风格、兴趣爱好和专业领域,依托于光明大模型的优秀性能,打造专属于自己的AI 助手。


基层全科诊疗助手展示

团队依托于基于光明大模型的助手制作应用网站,通过增添基层诊疗知识库,打造了基层全科诊疗助手。


基层全科诊疗助手的职责是为基层医疗机构(如社区卫生服务中心、乡镇卫生院)的全科医生进行日常诊疗帮助,它汇集了国内外最新的全科医学研究成果、临床实践指南、常见病症的诊断标准、治疗方案及预防保健知识,可以有效地提高基层全科医生对常面临的多发病、常见病及慢性病的诊断和治疗能力,提升基层医疗机构的服务水平。


下面是基层全科诊疗助手对一位患有社区获得性肺炎的患者的诊断应答过程 ↓↓↓↓

诊断应答过程


多模态展示

多模态学习被视为通用人工智能(AGI)的关键路径之一。团队基于LLaVA模型的方法训练了图文多模态模型,下面是图文多模态模型的效果展示。

多模态模型效果展示

光明实验室城市三维创新团队最新研究成果:具有语义的三维房屋线框生成

城市三维创新团队的研究成果《Generating 3D House Wireframes with Semantics 》(具有语义的三维房屋线框生成)已被国际计算机视觉顶会ECCV 2024录用。论文作者包括马雪奇、刘奕林、周文俊、王爇沩,通讯作者为城市三维创新团队带头人黄惠教授。


ECCV(European Conference on Computer Vision,欧洲计算机视觉会议)是计算机视觉领域的顶级国际会议,创办于1887年,与CVPR和ICCV并称为全球计算机视觉三大顶级会议,每两年举办一次。本届会议由欧洲计算机视觉协会(European Computer Vision Association, ECVA)主办,将于2024年9月29至10月4日在意大利米兰盛大召开。


在计算机视觉和图形学中,三维线框是一种关键的数据结构,能简洁且精确地表示物体的三维形状,尤其适用于机械零件和建筑物的三维多面体表示。虽然生成三维线框在模型创建中至关重要,但其过程复杂,对精度和创造力要求很高。传统方法主要通过图像或点云重建线框,无法生成全新的数据。近年来,研究转向基于学习的方法,通过几何元素的分布模式自回归生成新数据,但这些方法通常通过空间坐标组织序列,缺乏高级关联建模,可能引发歧义,影响生成质量。


基于此,本工作提出了一种新的三维房屋线框生成方法,基于语义关联构建线段序列。与传统的顶点和边建模不同,我们的方法将线框转化为图结构,节点对应线段,边表示线段连接,独立建模不相连的组件如屋顶和外墙。通过广度优先搜索(BFS)确定线段顺序,确保生成的线框连贯且具语义结构。

系统概览图


本工作主要贡献如下:


❤提出了一种基于线段表示的线框生成模型,用于学习线框分布,显著提高了三维线框生成的精度;

❤引入了一种语义感知的序列构建技术,减少了学习阶段的歧义。此外,该方法允许线框被分割成不同的部分,每个部分反映了三维房屋线框模型的基础语义。



人物


“天才新星”系列人物专访 丨 

李明博士:从国防科技到人工智能的卓越旅程




GML MONTHLY





今年刚刚毕业于新加坡国立大学的李明博士,凭借其卓越的学术成就,已成为计算机视觉领域优秀的青年学者。他的研究领域广泛而深入,聚焦于计算机视觉的前沿领域,特别是人工智能内容生成(AIGC,文生图/视频/3D)、多模态大语言模型和细粒度图像视频理解等。


此前,李明博士已在西安电子科技大学与北京大学(推免)分别完成了本科与硕士阶段的学业,并展现出非凡的学术潜力。2021年,李明被新加坡国立大学录取,在颜水成教授的悉心指导下开展研究工作,并受校长奖学金资助。攻读博士学位期间,他积累了丰富的实践经验,先后在新加坡的 Sea AI Lab 、中国的上海 AI Lab 完成了高质量的实习项目。


迄今,李明已在国际计算机视觉领域的顶级期刊与会议(包括IJCV、ICCV、TMM、TCSVT、ACMMM、ICIP等)上发表10余篇学术论文,研究成果获得了广泛的认可与赞誉。最近,李明在IJCV上发表的“Instant3D: Instant Text-to-3D Generation”开创了一种快速文生3D方法,该成果一经发布,便迅速在知名开源平台Hugging Face上引起广泛关注,吸引了包括米哈游、高榕资本等众多工业界巨头的合作意向。


此外,李明还受邀担任 IEEE TPAMI 、IJCV 、NeurIPS 、ICCV 、CVPR 、ECCV、AAAI和TIP 等多个期刊与会议的审稿人,充分证明了他在学术界的影响力。

李明博士近照


从国防科技到AI视觉的学术征途


高考报志愿的时候,我就对国防科技非常感兴趣,毅然决然地选择了信息对抗技术作为我的第一志愿。

2011年,刚刚结束高考的李明,怀揣着对国防科技的浓厚兴趣,毅然决然地选择了西安电子科技大学信息对抗技术专业作为第一志愿。


“我非常幸运本科就读于西安电子科技大学。她是一所以电子信息和计算机科学见长的理工科院校,有着‘厚德、求真、砺学、笃行’的校训,践行着求真、务实、修德的学习理念,大家都非常专注在自身本领的修炼上。”李明说。


在这样的学习氛围中,李明在电子设计制作领域投入了大量热情,大二上学期就自己动手DIY了智能循迹小车,并在大三的时候获得全国大学生数学竞赛陕西赛区一等奖。随后在大四上学期,成绩优异的李明就被保送到北京大学信息科学技术学院攻读硕士学位。


北京大学的校园氛围是开放的、包容的,学校的学科门类更加多样化,不同专业的学生聚集在这里碰撞出不同的火花,使得这里的学生有着广阔的学术视野。

在北大,李明儿时对于航空航天的热情被唤醒,很快,他投入到卫星通信与导航的研究中去。硕士快毕业的时候,李明却产生了一些“焦虑”:我意识我国在航空航天领域取得的成就已经是举世瞩目,但是在以人工智能为核心的第四次工业革命时代,我国的相关研究跟美国相比还是有着不小的差距。”


思及此,李明开始自学AI和计算机视觉相关的基础知识,并决定前往美国求学。


在美国北卡罗来纳大学教堂山分校 (UNC-Chapel Hill) 医学图像分析实验室 (IDEA Lab),我接受了最前沿、最专业的学术研究培训,开阔了国际视野。

在美国,李明遇到了医疗智能领域国际大牛沈定刚教授。他是世界上最早开展医学影像人工智能研究的科学家之一,并最先将深度学习应用于脑发育、脑疾病的分析。在他领导的医学图像分析实验室 (IDEA Lab),李明接受了最前沿、最专业的学术研究培训,开阔了国际视野。

赴美读博时期的李明


略有遗憾的是,一年后,沈教授被引进回国担任上海科技大学生物医学工程学院创始院长和联影智能CEO,因此,李明不得不离开北卡,先后辗转波士顿的伍斯特理工学院、新加坡国立大学开启新的博士求学经历。


新加坡国立大学的学生来自世界上的许多国家,通过与来自不同文化背景的同学交流,我了解到许多课堂上没有的知识,见识了多种多样的风土人情和思考问题的方式。

在新加坡国立大学攻读计算机和人工智能博士学位期间,李明通过与来自不同文化背景的同学交流,了解到了许多课堂上没有的知识,见识了多种多样的风土人情和思考问题的方式。


在这里,李明主要与颜水成教授合作。 颜水成教授是计算机视觉和机器学习领域专家,新加坡工程院院士、ACM/IEEE/IAPR Fellow和ACM杰出科学家, 现任天工智能联席CEO,并兼任昆仑万维2050全球研究院院长。其卓越成就与非凡贡献,无疑为李明的学术道路树立了光辉的榜样。

新加坡读博时期的李明


毫秒级文生3D:创新技术引领AI内容生成


谈及自己的研究领域,李明表示:“文生3D的研究顾名思义,就是根据文本描述生成一个对应的3D物体。这个领域的大部分工作都是基于per-prompt 优化的方式对单个文本描述反复迭代,生成要求的3D物体。”


然而,这种方式有两个明显的缺陷。一是耗时非常长,单个3D物体的生成时间一般在一个小时以上,有的方法甚至需要花费十几个小时;二是无法利用文本描述之间共享的3D概念,很多物体在不同的文本描述反复出现,但它们都是独立学习的,浪费了很多的计算资源。


为了解决这个问题,李明在研究 Instant3D: Instant Text-to-3D Generation 中提出了一种全新的文生3D范式。


我们的方案基于前馈网络直接从文本描述推理出3D表达,可以实现毫秒级的物体生成,并且无需3D数据作为训练资源。”李明说。“为此,我们设计了三种机制将文本信息嵌入前馈网络,并且提出了新的激活函数加速训练进程,最后还提出了新的自适应算法解决3D生成过程中常见的多头问题。近期我们的论文已经成功被计算机视觉顶级期刊IJCV接收,相关代码也已经开源。”


这项研究在很多现实生活场景中,展现出了广泛的应用潜力,涵盖了增强现实(AR)/虚拟现实(VR)技术、游戏开发、电影制作乃至城市规划设计等多个前沿领域。因此,李明的论文一经发布,便迅速吸引了海量关注,多家投资机构抛出橄榄枝,表达了强烈的合作意愿。

李明博士研究演示:

Instant3D: Instant Text-to-3D Generation 


大模型新探索:可控文生3D与未来AI的无限想象


“大家知道自从ChatGPT引爆大模型时代以来,越来越多的学术研究和工业应用开始将注意力转移到大模型的开发上来。不过大部分的研究都集中在大语言模型方面。” 李明介绍。


在这方面,李明也做了一些工作,不过本着敢于啃硬骨头的精神,他们的研究集中在一些尚未被解决的科学问题上。


“比如前一段时间我们做的可控文生3D大模型就是一个典型的例子。我们通过引入点云作为控制条件,以扩散模型为基础,可以直接生成一个文本描述所对应的3D物体的多视角图片,之后通过以高斯散射为基础的三维重建,可以快速的、可控的生成用户所需求的3D物体。我们的模型还支持用户交互,即用户可以通过点云精确调整3D物体的形状,使得生成的最终结果与用户需求吻合。”


光明实验室:探索科技前沿,共创实用未来


选择光明实验室,对李明而言是一个“深思熟虑”的决定。他认为,作为一个新型科研机构,光明实验室在短时间内展现出了其独特的优势与前景。


李明眼中的光明实验室,以探索科技前沿为己任,拥有世界一流的科研设施和跨学科的合作氛围,为创新研究提供了坚实的保障。此外,实验室开放包容、灵活应变的,广泛吸引、汇聚了全球顶尖的科研才俊。李明认为,这种多元而富有活力的科研生态,如同肥沃的土壤,不断滋养着创新思维的萌芽,促进学术交流与合作。


“更重要的是,光明实验室不仅关注基础研究的突破,还重视科技成果的转化与应用,致力于解决社会和产业中的实际问题。”李明说。“在这样的环境中,我能够自由地探索和创新,推动高质量的研究项目。我对实验室未来的发展充满期待,希望在这里与同行们一起探索未知,开创更多具有实用价值的科技成果。实验室的前瞻性发展战略也让我相信,我们的研究将不仅局限于学术层面,还将在社会和经济领域产生深远的影响,助力国家科技自立自强。”

在光明实验室,我计划继续深入研究AI生成内容、计算机视觉和多模态技术等领域。我希望通过这些研究,能够进一步推动相关技术的发展,将其应用到更广泛的场景中,如智能制造、虚拟现实、具身智能等领域,从而为产业界提供更具价值的技术解决方案。


此外,我还计划探索多模态大模型的创新应用,结合实验室丰富的资源和产业合作机会,将这些研究成果推向市场,促进科技成果的转化与落地。通过这些项目,我不仅希望推动个人科研能力的提升,还期待为实验室打造更多标志性成果,增强实验室在国际科研领域的影响力。

李明


在光明实验室的支持下,相信李明博士及众多科研工作者,都能够实现从基础理论到实际应用的全链条创新,进一步推动实验室在全球科研界的地位,同时为社会的科技进步贡献力量。


GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)



人员引进






GML MONTHLY





● 2024年7月,光明实验室新入职 5 名员工,其中科研人员1人,技术人员4人。


GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)



光明实验室

地址:深圳市光明区玉塘街道科润大厦

E-mail:gmlab@gml.ac.cn






GML MONTHLY - Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)

光明实验室
光明实验室官方公众号。光明实验室全称为人工智能与数字经济广东省实验室(深圳),依托深圳大学运行。定位于粤港澳大湾区国际科技创新中心核心平台、人工智能与数字经济开放合作先行地、人工智能与数字经济创新研究基地和产业集聚高地。
 最新文章