(一) 数据量的爆炸式增长

随着 6G 时代的到来，未来将衍生出诸多新型产业和场景，部署各种新型应用，如通信感知一体化、内生 AI(Artificial Intelligence)等^[2] 。同时由于通信感知融合，终端和传感器无处不在，网络自身也成为海量数据的生产者。据 IDC 的预测，到 2025 年，全球将有 557 亿连接设备，其中 75%为 IoT 设备，到 2025 年它们将产生 73.1ZB。随着智能连接设备的普及，连接智能场景将产生和消费大量的数据，如一辆自动驾驶车辆，其配置的各类车载传感器，包括摄像头、激光雷达、声纳、雷达、GPS 等，每天产生约 4TB 数据。据 statista 预测，到 2025 年全球产生和消费的数据总量将达到 181ZB。而据华为预测，到 2030 年全球每年产生的数据总量将达到 1YB， 相比 2020 年增长 23 倍。

(二) 数据类型的多样化和复杂化

当我们使用数据时，还会遇到不同数据源、类型、结构、环境、平台等挑战 。在 6G 时代，随着物联网、大数据、人工智能等技术的快速发展，数据量将呈现爆炸式增长，数据类型也将更加复杂多样^[3]。

这些数据将从各个维度产生和流动，成为推动智能化应用和服务的基础，为各行各业带来前所未有的变革和发展机遇。随着6G网络的发展，数据将不断增长，并呈现出多样性和复杂性。

(三) 数据孤岛现象加剧

(四) 数据安全和隐私保护

(五) 多维度数据与数据融合

(六) 数据检索性能要求

(七) 数据有效性要求

6G网络的数据传输速度将达到每秒1TB，这将对数据编织的处理速度提出更高的要求。如何快速、有效地处理如此大规模的数据，确保数据的一致性和完整性，是6G时代数据编织面临的重要挑战。6G对新数据的需求中，不同部门数据输入规范不同，造成数据冲突，业务人员将大量时间浪费在寻找数据和确认不信任的数据来源上，让数据的使用变得困难，无法用于决策。面向企业复杂的数据环境下数据管理敏捷性变得至关重要，需要通过自助式为企业内外部提供业务越来越复杂、实时性稳定性要求高且大量的数据应用访问需求。

(八) 数据主权

数字信息始终受到数据存储的国家/地区法律的制约，如何充分挖掘数据的内在价值，为各种业务提供精确支撑的同时兼顾隐私保护，尊重数据主权，已成为近年来的热门话题。在数据权属方面，以数据交易所和知识产权局为代表的机构提出了数据资产登记的要求，需要持续加强法律方面的建设。在数据安全和合规性上，随着各种数据安全和隐私保护法律出台以及内部的数据泄露隐患，各个企业都感受到了越来越大的压力，需要重新审视企业信息控制权利。在业务应用方面，数据风险越发呈现隐匿化、复杂化趋势，为适应6G业务所需的信息的持续流动，需要提供针对范围内云服务的相关数据传输、汇聚的合同保证。

面对这些数据融合挑战，数据编织技术作为新兴的数据管理理念和架构，能够将分散在各个系统中的数据进行整合，形成统一的数据视图，支持跨业务数据的即时有效访问，实现业务间有效协作，从而快速应对新的问题和需求，保持业务的竞争优势^[5]。

数据编织技术的优势主要体现在以下几个方面：

·打破数据孤岛：数据编织技术通过自动化数据集成和治理，消除数据孤岛，实现跨平台、跨领域的数据共享和协作，使企业的数据资产可见、可用，最大化释放数据的价值。

·提升数据可用性：数据编织提供统一的数据访问接口，简化数据获取流程，并利用先进的技术和工具，如知识图谱和语义技术，加快数据的访问速度，促进数据在组织内部和外部的安全共享，从而提高数据使用效率。

·降低数据管理成本：据 Gartner 预测，数据编织利用分析功能来持续监控数据管道，通过对数据资产的持续分析，支持各种数据的设计、部署和使用，缩短集成时间 30％，缩短部署时间 30％，缩短维护时间 70％。 数据编织架构形成一个系统性、动态的数据资产知识网络，在需要时根据需求交付所需的数据，而无需在发生改变时重新定义数据流，从而降低数据管理成本。

·促进数据驱动决策：数据编织支持数据素养和自服务分析，鼓励业务用户快速找到、整合、分析和共享数据，从而推动数据驱动的决策和创新。 同时，数据编织为集成新兴技术（如人工智能、机器学习等）提供了基础，使组织能够利用这些技术来增强数据分析和业务智能。

通过数据编织，企业可以更有效地实现“数据驱动”，满足“用上数据和用好数据”的核心需求，提升业务效率。

(二) 数据编织的关键技术

数据编织技术涵盖了多种关键技术，包括：

·语义知识图谱

语义知识图谱是一种用于组织和管理知识的技术，它通过图形结构来表示实体之间的各种语义关系。在数据编织的上下文中，语义知识图谱特指利用图谱技术来组织数据资产的元数据、数据之间的关系以及数据与其业务含义之间的联系。这种图谱不仅包含了数据的结构和属性，还包括数据的语义信息，即数据的意义和上下文。

·主动元数据

元数据是描述数据的数据，可以用来描述数据的属性、结构、来源、含义、关系等信息。而主动元数据是一种特殊的元数据，指的是在数据生产过程中主动收集和记录的元数据，它是一种动态的、自我更新的元数据形式。它不仅描述数据的结构和含义，还能够监控数据的流动、使用情况等，并根据数据的变化和访问模式自动更新自身。

·数据编排

数据编排是将多个存储位置中孤立的数据组合起来并呈现给数据分析工具的过程。数据编排分为三个主要步骤：组织，转换及激活数据。

数据编排涉及来自多个源的数据。数据编排过程将始终从指导程序了解它们将使用的数据的性质及其性质和数量开始。这些细节对于数据编排程序正确理解并因此组织它们将要处理的信息至关重要。当数据来自多个孤岛时，它们的格式可能并不完全相同。例如，如果正在处理数字，可能出现以多种不同方式编写的相同整数，即意义相同但是格式不一致。此阶段的重点是将所有数据转换为相同的格式。最后，激活数据阶段主要涉及将编译和转换的数据转换为与其将使用的工具兼容的格式。在激活阶段，处理后的数据将发送到对应的应用程序和工具。例如，这可能包括分析工具或其他旨在将数据处理和合成为可用形式的软件。

可以在数据编排中使用智能自动化，以有效地将这些工作流程从人类员工手中转移到机器上。最适合数据编排的自动化依赖于机器学习。

·DataOps 

DataOps（Data Operations）是一种面向流程的自动化方法，以提高数据质量并缩短数据分析的周期时间，它不是一个工具或产品，而是一种方法论或者最佳实践，类似软件开发中的“敏捷方法”。DataOps通过将敏捷开发、DevOps、人员和数据管理技术相结合，构建数据研发运营一体化的数据开发新范式，提高人们使用数据的效率并降低使用数据的门槛，并且充分利用数据的价值[8]。

·数据虚拟化访问

数据虚拟化访问技术是现代数据管理中的一项变革性技术，特别适用于需要快速访问和分析各种数据类型和来源的场景。与传统的数据集成方法不同，后者通常需要物理地将数据整合到一个位置，数据虚拟化涉及创建统一的、按需的数据访问，无需物理移动或复制数据。数据虚拟化从使用数据的应用程序中抽象出存储数据的技术细节，如格式、位置和访问协议。这一层允许用户操作数据而无需了解其底层的具体信息。它能够实时或近乎实时地集成来自多个异构源的数据，包括数据库、大数据结构、云服务和 APIs，而无需复制实际数据。通过集中数据访问层，数据虚拟化为所有数据查询提供了一个单一访问点，无论数据的物理位置在哪里[9]，从而简化了数据架构和治理。通过解耦数据与底层存储系统，增强了敏捷性。存储或数据格式的变更不会影响应用程序的业务逻辑。

·基础设施层（Infrastructure Layer）

网络连接：包括高速、低延迟的6G无线连接和有线网络，以及边缘计算的实现。

资源虚拟化与动态调度：使用云计算资源和边缘计算节点，实现资源的即时调度和优化。

网络功能与服务虚拟化：利用SDN和NFV技术，提供高度灵活和可配置的网络服务。

·数据管理层（Data Management Layer）

数据采集与整合：汇总多样化的数据源，包括IoT设备、用户设备、网络日志等。

数据存储与优化：构建高效的数据存储解决方案，保障数据高可用性和一致性。

数据安全性与治理：确保数据的安全传输和存储，包括加密、访问控制和数据合规性。

·服务层（Service Layer）

智能数据处理：运用AI和机器学习进行数据分析，预测和模式识别，实现智能化决策。

实时数据服务：基于实时数据流提供分析服务，确保即时反馈和响应。

资源管理与优化：自适应资源管理算法，动态调配计算、存储和网络资源，提升能效。

·应用层（Application Layer）

高级数据应用：利用高速率的数据流，支持如AR、VR、自动驾驶等高级应用场景。

用户体验与交互：提供友好的用户界面和交互设计，增强用户体验和服务可接受性。

创新服务开发：开发和部署支持6G特性的新服务，推动技术创新和业务发展。

在此框架中，每一层都密切关联，相互支撑，共同构成一个可靠、灵活、智能的6G数据编织系统。从基础设施到数据管理，再到服务层，每一步都注重提高效率、增强安全和改善用户体验。最终在应用层，框架将能够满足未来的商业需求和创新应用，实现6G环境下的全新体验。

(二) 关键功能与组件

该框架各层关键功能与组件包括：

·智能元数据引擎（Intelligent Metadata Engine）

利用主动元数据辅助自动化，通过元数据分析和建议充当智能编排引擎，促进数据在不同部署选项、用例和架构方法之间的快速访问和共享。   

·生成式AI工作台（Generative AI Workbench）

使用组织自己的数据训练生成式AI模型，提供全面的数据见解，加强客户关系管理和决策支持，尤其在金融服务领域

·实时数据分析平台（Real-time Data Analytics Platform）

实时分析大量数据，识别可疑数据并采取风险减缓措施，维护应用的稳定性和安全性。  

·客户体验增强器（Customer Experience Enhancer）

通过自动化流程和数据编织技术，简化客户交互、减少错误并提供个性化服务，提高客户满意度和忠诚度。   

·私有AI平台（Private AI Platform）

确保AI获得高质量的数据，支持AI和人类共同做出重要决策，优先考虑数据质量和流程优化。   

·语义知识图谱构建器（Semantic Knowledge Graph Builder）

组织和管理知识，通过图形结构表示实体之间的语义关系，提供全面的数据地图，帮助用户理解数据的含义、来源和使用方式。   

·数据编排中心（Data Orchestration Hub）

将多个存储位置中孤立的数据组合起来并呈现给数据分析工具，涉及组织、转换及激活数据的三个主要步骤。   

·数据准备与交付（Data Preparation and Data Delivery）

“Data Orchestration Hub”中心依据“Intelligent Metadata Engine”进行数据编排，通过“Data Preparation and Data Delivery”和“Data Virtualization Gateway”完成数据整合和访问。

·数据虚拟化网关（Data Virtualization Gateway）

支持物理分散、逻辑统一的数据访问方式，在多云或混合云情况下统一连接和访问数据。   

通过这些组成部分的紧密协作，数据编织系统框架能够实现数据的高效管理、自动化处理和智能化分析，同时确保数据的安全性和合规性，为金融机构等组织提供强大的数据支持。

(三) 面临的挑战与风险

在实现面向6G通信系统的数据编织框架时，会遇到一系列技术、企业数据现状、落地执行以及企业文化方面的挑战与风险。

·数据整合与管理：需要有能力整合来自不同源（如传感器、社交媒体、智能设备）的数据，这不仅涉及到技术问题，还有数据格式和标准化的问题。

·安全性与合规性：保护敏感数据以满足越来越严格的法规要求，需要在保持数据易用性的同时，实施先进的加密和数据掩盖技术。

·实时数据处理：由于6G环境下数据的高速生成，需要实施可以即时响应的数据处理和分析能力。

·数据分散性：由于企业数据跨多个仓库和云服务分布，如何确保数据一致性和准确性是一大挑战。

·数据重复和一致性问题：分布式存储导致数据冗余，确保全局一致性是关键。

·技术选型和集成：选取合适的技术和工具来构建数据编织架构，确保它们可以无缝集成并协同工作。

·技能和知识缺乏：构建和维护数据编织框架需要专业知识，这可能需要对现有员工进行培训或招募具有这些专门技能的新员工。

·文化转变困难：组织需要从以应用程序或存储为中心转变为以数据为中心的运营模式，这需要大幅调整现有流程和观念。

·新技术的抗拒：员工和管理层可能会对放弃久经考验的技术和流程感到不适，对新技术持保守态度。

·组织惯例与阻力：企业内部的既有惯例和文化可能会阻碍数据编织的采用和推广。

·数据所有权和治理：数据编织需要跨部门协作和数据共享，这要求改变现有的数据所有权和治理结构。

综上所述，在面对6G时代的数据编织挑战时，需要系统地解决技术难题，同时对数据管理策略进行重新思考，克服落地困难，并促进组织文化的转型，以便完全利用6G带来的机遇。