什么是重复数据删除？
数据重复数据删除是一种简化流程，通过删除相同信息的多余副本来减少冗余数据。数据重复数据删除（通常简称为“Dedupe”）的目标是减少组织的持续存储需求。
组织可以实施数据重复数据删除流程和技术，以确保其存储系统中只存在一个唯一的数据实例。重复或冗余数据将被删除，用户将被指向单个数据实例。
当数据重复数据删除成功时，它可以提高组织的整体存储利用率并有助于降低成本。
那么，公司为什么要创建重复数据呢？可能有一个或多个正当理由，包括以下几点：
组织或其某个部门可能需要重新利用原始数据，因此需要创建新的数据副本。
公司可能希望保留副本作为备份系统的一部分，以防发生数据丢失事件。
组织可能会发现它保留了相同数据的多个副本，但以不同的格式存储。
数据重复的另一个主要原因是，这在大多数多部门组织中经常发生。数据要么定期创建，要么重新创建，这是在现代环境下开展业务的一项公认的有机功能。因此，数据创建或复制并不是真正的问题；过度的数据扩散才是。
如果不产生额外的财务负担，数据激增似乎不是一个大问题。组织可以选择将数据存储在其 IT 架构内的不同位置，而不必担心这些冗余。
但事实上，公司确实会因以额外存储成本的形式维护大量数据冗余而遭受经济损失。无法停止创建数据冗余的组织需要分配更多的人力和预算来实施新的存储解决方案和数据管理，无论是基于新硬件购买还是添加云存储。
重复数据删除的好处
数据重复数据删除技术最明显的好处是，删除无关数据可以减少组织必须存储和管理的数据总量。这样可以减少占用存储空间的数据量，从而有效提高组织的存储容量。
除了降低存储成本之外，数据重复数据删除还具有其他主要优势，例如进一步制定数据备份计划和支持紧急措施以保障 灾难恢复。
另一个好处是，通过删除“无用”数据并确保剩余数据得到适当清理，恢复数据完整性。事实证明，删除重复数据后，运行效果更好，能耗更低。
数据重复数据删除的另一个好处是它与虚拟桌面基础架构 (VDI)部署配合良好，这要归功于 VDI 远程桌面背后的虚拟硬盘以相同的方式运行。流行的桌面即服务 (DaaS) 产品包括 Microsoft 的 Azure Virtual Desktop 及其 Windows VDI。这些产品会生成在服务器虚拟化过程中创建的虚拟机 (VM)。反过来，这些虚拟机又为 VDI 技术提供了支持。
数据重复数据删除如何工作？
数据重复数据删除的另一种方法是在文件级别进行操作。单实例数据存储会比较文件系统中的完整数据副本，而不是数据块或数据块。与其对应的方法一样，文件重复数据删除依赖于保留原始文件并删除多余的副本。
重复数据删除技术的工作方式与数据压缩算法（例如 LZ77、LZ78）并不完全相同，尽管两者都追求相同的总体目标，即减少数据冗余。与压缩算法相比，重复数据删除技术在更大、更宏观的范围内实现了这一目标，压缩算法的目标不是用共享副本替换相同的文件，而是高效地对数据冗余进行编码。
重复数据删除的类型
根据重复数据删除过程发生的时间，有两种基本类型的重复数据删除。
这种形式的重复数据删除在数据在系统内流动时实时发生。由于系统既不传输也不存储重复数据，因此系统承载的数据流量较少。这可以减少该组织所需的总带宽量。
这种类型的重复数据删除发生在数据被写入并放置在某种类型的存储设备之后。
这两种类型的数据重复数据删除都受到数据重复数据删除固有的哈希计算的影响。这些加密计算对于识别数据中的重复模式至关重要。在内联重复数据删除过程中，这些计算是即时执行的，这可能会主导并暂时压倒计算机功能。在后处理重复数据删除中，哈希计算可以在添加数据后的任何时间执行。
重复数据删除类型之间的细微差别不止于此。对重复数据删除类型进行分类的第二种方法是根据此类过程发生的位置。
这种重复数据删除技术在新数据生成的地方附近进行。系统会扫描该区域并检测文件的新副本，然后将其删除。
目标重复数据删除基本上是源重复数据删除的反转。在目标重复数据删除中，系统会对在原始数据创建位置以外的区域找到的任何副本进行重复数据删除。
由于存在不同类型的重复数据删除方法，因此有远见的组织必须对所选择的重复数据删除类型做出谨慎和深思熟虑的决定，并在该方法和该公司的特定需求之间取得平衡。
在许多用例中，组织选择的重复数据删除方法很可能归结为各种内部变量，例如：
正在创建多少数据集以及什么类型的数据集
该组织的主要存储系统
正在使用哪些虚拟环境
公司依赖哪些应用程序
— 欢迎关注 往期回顾 —
>>>网络安全等级保护<<<
>>>关键信息基础设施安全保护<<<
>>>数据安全系列<<<
因侵犯公民个人信息罪 深圳一人被判一年三个月 售卖他人求职简历
公安部网安局：河南开展整治网络谣言专项行动 查处造谣传谣3000余人
一公司高管为泄愤攻击智慧停车收费系统，致上千家停车场无法自动抬杆
上海4人被判刑：5元掌握明星偶像行程？贩卖明星信息4人被判刑！
假期内，网络主播直播约架？郑州警方迅速控制，刑拘十人！网络空间不是法外之地！
网络水军团灭记：“转评赞”狂刷单 上百人“网络水军”团伙落网
北京多家公司因不履行网络安全保护义务被处罚！“两高一弱”仍然是安全隐患重点
>>>其他<<<
网络安全知识：什么是CIA三要素 (机密性、完整性、可用性)？
网络安全知识：什么是基于域的消息认证、报告和一致性 (DMARC)？
