SmartFlowAI
点击上方蓝字关注我们
作者：猫先生
全文约 2400 字，预计阅读时间 6 分钟
网络上有数百万个数据集，而且这个数字仍在呈爆炸式增长，且它们之间的关系错综复杂。这些关系对于研究和决策过程意义重大，但目前缺乏系统的分析和理解。本文从用户发现、使用和共享数据集的角度出发，深入研究了数据集关系，定义了全面的关系分类法，并通过实验评估了多种识别方法的性能。
数据集关系分类
基于来源的关系
Replica：数据和来源相同但托管网站不同，有助于用户选择信任的数据源。 Version 和 Revision：版本间数据和模式近似，反映数据集随时间的演变，对研究可重复性至关重要。修订通常指较小的、未标记的更改，而版本是稳定的、有标记的发布。 Subset：从较大数据集中提取的部分数据，保留来源和部分模式，适用于需要特定数据切片的研究。 Derivation：由一个或多个数据集通过转换、聚合等操作生成，理解派生关系有助于评估数据集的可信度。 Variant：数据集在某些维度（如时间或空间）上不同，但共享模式、来源和收集方法，有助于发现数据中的模式和趋势。
非基于来源的关系
主题相似（Topically Similar） ：涵盖相似主题或在特定用户上下文中相关，可用于比较和分析相关主题的数据。 任务相似（Task-similar） ：设计用于相似任务的数据集，便于比较不同算法或模型在相同任务上的性能。 可集成（Integratable） ：数据集可通过共享模式或内容进行集成，包括可连接（joinable）和可合并（unionable）的数据集，可结合使用以获得更全面的数据。
实验评估
方法比较
语义标记分析：利用schema.org中的关系标记，但实验发现其对识别数据集关系的作用有限。 启发式方法：基于观察到的元数据规律制定规则，对某些关系类型表现尚可，但易受数据集名称和描述的微小变化影响，导致召回率较低。 梯度提升决策树（GBDT）分类器：使用手动注释的示例进行训练，在大多数关系类型上表现出色。 基于大语言模型（LLM）的分类器：通过微调T5.1.1模型进行多类分类任务，在派生关系这种语义复杂的情况下表现优于GBDT分类器，总体性能与GBDT相当。
语料库分析结果
对270万个可引用数据集的语料库进行分析，发现20.1%的数据集至少与另一个数据集存在一种关系，22%的数据集有多种关系。其中，副本关系最为普遍，而派生或版本关系则较少。大部分子集关系（59%）中的数据集与父数据集来自同一站点，而大多数变体、派生数据集和版本关系中的数据集存在于同一站点。
结论与展望
本文提供了数据集关系的全面概述，为未来研究奠定了基础。研究表明，数据集关系复杂多样，用户需求在理解这些关系中起着关键作用。尽管当前的语义标记存在不足，但通过结合多种方法，如元数据分析和机器学习，可以有效地识别关系。未来的工作将集中在改进语义标记、探索更多元数据字段的影响、研究特定存储库中的数据集关系，以及进一步理解数据质量和可信度与数据集关系之间的联系，以帮助用户更好地发现和使用数据集，推动科学研究和决策过程的发展。
后台回复 google 获取原论文链接
往期 · 推荐
🌠 番外：我们期待与读者共同探讨如何在 AI 的辅助下，更好地发挥人类的潜力，以及如何培养和维持那些 AI 难以取代的核心技能。通过深入分析和实践，我们可以更清晰地认识到 AI 的辅助作用，并在 AI 时代下找到人类的独特价值和发展空间。“机智流”公众号后台聊天框回复“cc”，加入机智流大模型交流群！
一起“点赞”三连👇
