首页 时事 民生 政务 教育 文化 科技 财富 体娱 健康 情感
更多
旅行 百科 职场 楼市 企业 乐活 学术 汽车 时尚 创业 美食 幽默 美体 文摘

【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路

学术   2024-11-16 17:02   北京   
来源：专知
本文约1000字，建议阅读5分钟
到目前为止，只有树状的 PICs 被探索过，而通过数值求积训练它们在大规模下需要大量内存处理。


概率积分电路（PICs）最近被提出作为一种概率模型，具备表达能力强的生成模型背后的关键要素：连续潜在变量（LVs）。PICs 是符号化的计算图，将连续 LV 模型定义为函数层次结构，这些函数通过相加和相乘，或者对某些 LV 进行积分而构成。如果可以解析地积分出 LV，则它们是可解的，否则可以通过称为 QPCs 的可解概率电路（PC）来近似，该电路编码了分层数值求积过程。到目前为止，只有树状的 PICs 被探索过，而通过数值求积训练它们在大规模下需要大量内存处理。本文中，我们解决了这些问题，并提出了：(i) 从任意变量分解构建有向无环图（DAG）形状的 PICs 的流程，(ii) 使用张量化电路架构训练 PICs 的方法，以及 (iii) 神经功能共享技术以实现可扩展的训练。在广泛的实验中，我们展示了功能共享的有效性以及 QPCs 相较于传统 PCs 的优越性。



关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU
数据派THU
清华大数据研究中心官方平台，发布团队科研、教学等最新动态及大数据领域的相关信息~
 最新文章
深入理解多重共线性：基本原理、影响、检验与修正策略
类GPT化学语言模型，9秒生成100种化合物，微软AI药物设计平台登Nature子刊
【阿姆斯特丹博士论文】优化、博弈与泛化界
独家｜ChatGPT搜索如何为AI代理铺路
普林斯顿王梦迪团队提出蛋白水印方法，助力AI蛋白生成的版权保护与安全
【NeurIPS2024】注意力迁移对视觉Transformer的惊人有效性研究
报名 | 揭秘AI科研神器，解锁跨学科创新密码！
独家 ｜在大型语言模型中对于 “涌现属性 ”的合理性检查
清华软件论坛 | 清华大学杰出访问教授樊文飞院士分享“AI = 机器学习 + 逻辑推理”
【博士论文】基于车载3D LiDAR的几何与语义场景理解深度学习研究
NeurIPS 2024 || GLBench: 面向大模型的图学习基准测试集
Token化一切，甚至网络！TokenFormer，Transformer从来没有这么灵活过！
【阿姆斯特丹博士论文】科学模拟的机器学习：推理与生成模型
基于LLM Graph Transformer的知识图谱构建技术研究：LangChain框架下的文本-图谱双模式转换机制实践
为什么卷积现在不火了：CNN研究热度降温的深层原因分析
【NeurIPS2024】SAFE: 慢速与快速参数高效调优用于基于预训练模型的持续学习
TSMamba：基于Mamba架构的高效时间序列预测基础模型
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
大数据系统软件国家工程研究中心共同主办首届北京数字人才发展大会
NeurIPS 2024 | 重新审视时间戳信息在时序预测中的作用
通过pin_memory 优化 PyTorch 数据加载和传输:工作原理、使用场景与性能分析
【牛津大学博士论文】通过贝叶斯实验设计实现自动化数据采集
基于MCMC的贝叶斯营销组合模型评估方法论： 系统化诊断、校准及选择的理论框架
当视觉大模型陷入认知失调，马里兰大学构建了一个幻觉自动生成框架
【NeurIPS2024】通过超球面能量最小化 CKA 增强贝叶斯深度学习中的多样性
数据派志愿者招募 | 寻找最志同道合的你！
综述 | 时空图神经网络模型在时间序列预测和分类中的应用
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
【NeurIPS2024】强化学习梯度作为在线微调决策变换器的维生素
报名 | 全球证书项目Innovation and Entrepreneurship for the Al Economy
NeurIPS 2024 | 经典GNNs是强有力的节点分类基线模型
从哈佛哲学系到蛋白质设计大师，David Baker：AlphaFold令我深刻认识到深度学习的力量
【CMU博士论文】交错离散搜索与连续优化用于运动规划中的动力学运动规划
IoTDB 航空航天解决方案：从制造到试飞，助力国之重器翱翔长空
深度学习工程实践：PyTorch Lightning与Ignite框架的技术特性对比分析
【CMU博士论文】使用数据不确定解释的可信学习
通知 | 清华大学大数据能力提升项目“RONG”奖学金开始申请啦！
一文解读：时序基础模型的缩放定律
基于Liquid State Machine的时间序列预测:利用储备池计算实现高效建模
【NeurIPS2024】通过分解编码和条件控制增强文本到视频生成中的运动效果
原创 | 展望大语言模型在AGI时代的发展前景
10种数据预处理中的数据泄露模式解析:识别与避免策略
【阿姆斯特丹博士论文】缓解多任务学习中的偏差
清华软件论坛 | 樊文飞：AI = 逻辑推理 + 机器学习
勾股定理还能这样证明？高中生一连发现10种证明方法，陶哲轩点赞
基于PyTorch的大语言模型微调指南：Torchtune完整教程与代码示例
【CELL】用AI智能体推动生物医学发现
科普之旅 ｜ 大语言模型与量子计算的融合
Github上的十大RAG(信息检索增强生成)框架
【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路
 分类
时事
民生
政务
教育
文化
科技
财富
体娱
健康
情感
旅行
百科
职场
楼市
企业
乐活
学术
汽车
时尚
创业
美食
幽默
美体
文摘
 原创标签
时事 社会 财经 军事 教育 体育 科技 汽车 科学 房产 搞笑 综艺 明星 音乐 动漫 游戏 时尚 健康 旅游 美食 生活 摄影 宠物 职场 育儿 情感 小说 曲艺 文化 历史 三农 文学 娱乐 电影 视频 图片 新闻 宗教 电视剧 纪录片 广告创意 壁纸头像 心灵鸡汤 星座命理 教育培训 艺术文化 金融财经 健康医疗 美妆时尚 餐饮美食 母婴育儿 社会新闻 工业农业 时事政治 星座占卜 幽默笑话 独立短篇 连载作品 文化历史 科技互联网
 发布位置
广东 北京 山东 江苏 河南 浙江 山西 福建 河北 上海 四川 陕西 湖南 安徽 湖北 内蒙古 江西 云南 广西 甘肃 辽宁 黑龙江 贵州 新疆 重庆 吉林 天津 海南 青海 宁夏 西藏 香港 澳门 台湾 美国 加拿大 澳大利亚 日本 新加坡 英国 西班牙 新西兰 韩国 泰国 法国 德国 意大利 缅甸 菲律宾 马来西亚 越南 荷兰 柬埔寨 俄罗斯 巴西 智利 卢森堡 芬兰 瑞典 比利时 瑞士 土耳其 斐济 挪威 朝鲜 尼日利亚 阿根廷 匈牙利 爱尔兰 印度 老挝 葡萄牙 乌克兰 印度尼西亚 哈萨克斯坦 塔吉克斯坦 希腊 南非 蒙古 奥地利 肯尼亚 加纳 丹麦 津巴布韦 埃及 坦桑尼亚 捷克 阿联酋 安哥拉