到 2025 年,人类每 12 小时产生的数据将比我们从一开始就到 2015 年产生的数据还要多。Filecoin 网络就是为这个未来而构建的。
Filecoin 基金会和 Kite AI 很高兴宣布合作,以增强 AI 训练的数据管理,这标志着在创建 AI 系统的去中心化基础、优先考虑数据透明度、可扩展性和公平访问方面取得了关键进展。Kite 将利用 Filecoin 的去中心化存储基础设施来安全地存档训练数据集,并将 IPFS 集成为其强大的出处层的一部分,从而实现模型开发中数据的完整性、可追溯性和合规性。
AI 中隐藏的危机
AI 突破占据了每周的头条新闻。模型变得更强大,任务更复杂,功能更令人印象深刻。
每一项进步的背后都隐藏着日益严重的基础设施危机:前所未有的数据管理规模。
随着模型消耗的数据越来越多,这些问题变得至关重要。
传统的存储系统在负载下会紧张。
集中式服务器会产生单点故障。
验证仍然很复杂,而且通常是不可能的。
示例:医疗保健
以医疗保健 AI 开发为例。构建可靠的疾病检测模型需要:
• PB 级医疗数据
• 无懈可击的验证系统
• 透明的数据沿袭
• 法规遵从性
• 抗故障存储
目前的解决方案将多个系统整合在一起 - 一个用于存储,另一个用于验证,另一个用于合规性。每个连接点都会引入新的漏洞。
以下是 FF 与 Kite AI 的合作方式
去中心化存储基础设施
• 集成 Filecoin 网络,用于 AI 训练数据集的安全存档
• 通过分布式存储增强数据弹性
• 可扩展的架构,满足不断增长的 AI 数据需求
IPFS 驱动的数据来源
• 对数据集来源和转换实施可验证的跟踪
• 自动记录模型训练合规性
• 公平性和偏差评估指标的整合
• 在整个模型生命周期中安全地保留性能审计
数据集可访问性框架
• 最初关注现有的开放式医疗保健和基因组数据集
• 标准化访问协议的开发
• 与当前的研发工作流程集成
• 数据集使用权限和限制的清晰文档
Filecoin 上不断增长的 AI 生态系统
整个 AI 领域正在发生更大的转变。开发人员和组织越来越认识到,AI 的未来需要一种新型的基础设施。
看看已经发生的事情就知道了:
• SingularityNET正在通过Lighthouse通过Filecoin增强元数据的安全性和来源
• Theoriq 正在开发在存储在 Filecoin 上的开放数据集上训练的 AI 代理,包括用于文档的自然语言处理
• Bagel 使 AI 开发人员能够使用 Filecoin 的基础设施优化模型的训练和存储
• Nuklai 集成了 Filecoin 以实现公共元数据可访问性和企业存储解决方案
• Aethir 正在解决 GPU 短缺问题,同时通过 Filecoin 集成增强数据安全性
• Kite AI 改进 AI 训练数据的工作方式 - 从存储到验证再到管理。
在 AI 模型训练中,确保数据来源的可靠性(追踪来源、转换和使用情况)与数据本身一样重要。通过将 IPFS 集成到其 AI 工作流程中,Kite 将增加验证功能,这可以提供重要的合规性层,旨在为 AI 工作流程中的法规遵守、道德合规性和公平性提供不可变的证据。通过 IPFS,推理后进行的与公平性、偏见评估和影响评估相关的关键指标将安全地附加到模型生命周期的每个阶段。Kite 将保留此模型性能的可审计轨迹,并确保合规性得到记录和验证。稍后,这些数据将安全地传输到 Filecoin 进行长期存储和访问。
随着 AI 训练数据规模的快速增长,管理安全性和弹性变得越来越重要。通过此次合作,Kite 将安全地将其部分 AI 训练数据集存储在 Filecoin 的去中心化和可扩展存储架构上,确保 AI 创新的弹性和可访问性。
Kite 和 Filecoin 基金会合作解锁高质量数据集,以实现多样化、有影响力的 AI 用例,例如医疗保健建模方面的进步。首先,通过利用存储在 Filecoin 上的基因组和医疗保健机构的现有开放数据,Kite 将能够访问高质量数据集并推动模型开发的进步。此次合作是 Kite 更广泛愿景的一部分,旨在推动向高质量、精心策划的数据集的转变,作为构建变革性 AI 模型的基础。
为什么这会改变一切
我们正在解锁新的可能性。想象:
• 医疗保健研究人员可以访问大量数据集,同时保护患者隐私
• AI 公司可以证明他们的模型经过道德训练
• 开发人员可以准确跟踪其数据的使用情况
前方的道路
AI 的未来不是由谁拥有最大的模型决定的,而是由谁拥有最受信任的模型决定的。我们的网络提供了实现这一目标的基础设施。
我们专注于:
• 大规模部署安全存储
• 推出验证系统
• 使对高质量数据集的访问民主化
Kite AI 是去中心化的区块链基础层,开创了公平、民主化和安全访问基本 AI 资产(数据、模型和代理)的先河。Kite AI 建立在 ZettaBlock 经过验证的基础设施之上,是去中心化 AI 经济的基础层,能够协调全球贡献者网络(从开发人员到企业),以构建、共享和公平奖励高质量的 AI 资产贡献,同时保持所有权、隐私和控制权。
Filecoin 是一个用于存储文件的点对点网络,具有内置的经济激励机制,可确保文件长期可靠地存储。它旨在为人类信息创建一个去中心化、高效且强大的基础。
往期回顾
IPFS万佳社区