议题主持人：
王晴 证通股份云网事业部副总经理
参与议题交流嘉宾：
朱祥磊 山东移动 系统架构师
苟志龙 某股份制银行 高级工程师
金海波 昆仑银行 数据架构师
詹智财 苏宁易购高级算法工程师
胡越 某大型车企 AI算法工程师
董生 某大型银行 软件开发工程师
徐园园 秦皇岛银行 数据架构师
议题主持人：王晴 证通股份云网事业部副总经理
在当今数字化金融的浪潮中，智能投研和智能客服场景正逐渐成为金融领域的重要发展方向。然而，在这些场景中，向量数据库面临着巨大的挑战。海量的金融数据，如文本、图像和时间序列等，其高维度的特性给数据库的存储和检索带来了诸多难题。如何优化向量数据库的索引结构以提升查询速度，如何确保数据的准确性和一致性，以及如何在保障数据安全和隐私的前提下进行高效处理，已成为亟待解决的关键问题。为了探寻有效的解决方案，我们汇聚了众多行业专家的智慧，期待能为这一复杂问题找到清晰的解决路径。
朱祥磊 山东移动 系统架构师：
大模型的数据安全和隐私保护是一个复杂而重要的议题，涉及多个层面和多种技术手段，分享一些处理方法和建议：
1.技术层面
（1）联邦大模型：采用分布式差分隐私的方法，即将模型的参数分散到多个参与方中进行训练，然后通过加噪声等方式使得参与方之间互相隔离，并保证模型的训练和推断结果不会泄露用户隐私数据。在大模型场景下，联邦学习可以有效保护用户数据的隐私，同时实现模型的协同训练和优化。
（2）对于大模型而言，将模型参数进行同态加密，然后交由云端进行训练和推断，可以保证用户数据不会泄露。然而，同态加密的计算效率较低，因此需要结合模型压缩、量化等技术来提高计算效率。
（3）数据脱敏与匿名化：数据脱敏一般是对数据进行替换、隐藏等操作，以防止敏感数据泄露；数据匿名化则是通过删除或替换数据中的个人标识信息，使得数据无法被识别或关联到特定的个体。在大模型训练前，可以对原始数据进行脱敏和匿名化处理，以降低数据泄露的风险。
（4）数据备份与恢复 ：对于大模型训练过程中的数据，应定期进行备份，以防止因意外情况导致的数据丢失。
2.管理与政策层面的处理
（1）严格的访问控制策略 ：通过实施严格的访问控制策略，限制对AI大模型的访问权限，防止未经授权的访问和数据泄露。
（2）定期的审查和审计 ：对AI大模型处理的数据进行定期的审查和审计，以确保数据的合规性和安全性。
苟志龙 某股份制银行 高级工程师：
1. 优化索引结构
选择LSH、ANN等高维数据索引算法。
设计分层索引，平衡查询速度和准确性。
动态索引调整，监测性能指标优化。
利用GPU、FPGA等硬件加速计算。
2. 保证数据准确性和一致性
数据预处理和验证，提高数据质量。
数据同步和事务管理，确保一致性。
定期数据校验和修复，维护数据准确性。
3. 数据安全性和隐私保护
访问控制和权限管理，限制数据访问。
数据加密，保护敏感信息。
隐私保护技术，防止隐私泄露。
安全审计和监控，实时监测安全事件。
金海波 昆仑银行 数据架构师：
可以考虑以下方法来优化向量数据库的索引结构：
选择合适的索引算法：针对金融数据的高维度特性，可以选择适合的索引算法，在高维空间中快速找到近似最近邻，提高查询速度。
分层索引结构：构建分层的索引结构，将数据划分为多个层次进行索引。在不同层次上进行粗粒度和细粒度的索引，以提高查询效率。
压缩和量化：对向量数据进行压缩和量化处理，保持一定的准确性，减少数据的存储空间和计算量。
分布式架构：采用分布式向量数据库架构，将数据分布在多个节点上进行存储和处理。
缓存机制：建立缓存机制，将频繁访问的数据缓存到内存中，减少磁盘IO操作，提高查询速度。
数据分区和索引分区：对数据进行分区存储，并为每个分区建立独立的索引。这样可以减少查询时的搜索范围，提高查询速度。同时，可以根据数据的特点和查询需求，合理划分索引分区，以提高索引的效率。
詹智财 苏宁易购 高级算法工程师：
在大模型场景中，数据安全和隐私保护主要还是集中在数据上，而通过流程位置的不同可以分为：
1）模型训练，微调等场景下的训练数据的隐私和保护，这一方面是如何保护数据不泄露，另一方面是如何保护当大模型上线后，如何不让用户从大模型口中问出这些原始数据，第二个问题也是大家容易遗忘，以及关注度不够的地方，这最好通过引入旁支大模型进行判定或者关键字过滤等等辅助手段进行保护；
董生 某大型银行 软件开发工程师：
1.数据传输风险：采取适当的安全措施来保护数据的机密性和完整性，以防止传输过程中被截获和篡改的风险，例如传输加密，增加校验码等
2.训练过程中风险：例如联邦学习中的同态密码学，大模型接受密态化的数据输入，整体精调和推理过程完全是密态化的进行，最终的结果也是以密态的形式返回给客户端。
3.执行环境风险：选择TEEE的执行环境，保护数据不被窃取。
张志强 某大型车企 数据安全专家：
数据的安全性和隐私性无论在大模型的场景中还是传统的信息系统架构中都要充分考虑。
1.数据安全一定要从数据采集、数据传输、数据存储、数据交互、数据消亡的生命周期进行技术考虑，充分结合数据安全法和个人信息保护法的要求进行技术把控；
2.无论国内还是国外，数据的出入境问题都要考虑，管理方面一定要和服务方（律所）做充分沟通，解读属地法律，配合技术把控。
徐园园 秦皇岛银行 数据架构师：
在数字时代，面临数据合规治理和隐私保护的挑战，企业可以从两个方面做好隐私保护工作：
1.在模型训练阶段可以使用匿名化的工具，防范未来模型本身带来隐私泄露或者个人信息被滥用的风险；
胡越 某大型车企 AI算法工程师：
如果不是专业性特别强的场景，不需要重新训练大模型的，考虑数据安全时可以把向量数据库本地构建，这样对应的知识库也就本地化了，同时大模型本地化，这样一整套都是在本地了。
针对智能投研和智能客服场景中向量数据库所面临的问题，专家们提出了丰富而全面的见解。
在数据安全和隐私保护方面，从技术层面来看，可采用联邦大模型的分布式差分隐私方法、模型参数的同态加密，以及数据脱敏与匿名化处理等手段，并做好数据备份与恢复。管理与政策层面则要实施严格的访问控制策略，进行定期的审查和审计，同时遵守相关法规和政策。
优化索引结构方面，专家们建议选择高维数据索引算法，设计分层索引，动态调整索引，利用硬件加速计算，或构建分层的索引结构，对向量数据进行压缩和量化处理，采用分布式架构、缓存机制、数据分区和索引分区，并定期更新和优化索引。
保证数据准确性和一致性的方法包括数据预处理和验证、数据同步和事务管理以及定期的数据校验和修复。
在数据安全性和隐私保护措施上，要进行访问控制和权限管理、数据加密、采用隐私保护技术以及安全审计和监控。同时，对数据进行安全等级区分，提升用户安全意识，分级存放数据，防止数据泄露，建立完备流程。
点击文末阅读原文，可以到社区原文下留言交流
觉得本文有用，请转发、点赞或点击“在看”，让更多同行看到
资料/文章推荐：
欢迎关注社区 “AI”技术主题 ，将会不断更新优质资料、文章。地址：https://www.talkwithtrend.com/Topic/116059
*本公众号所发布内容仅代表作者观点，不代表社区立场；封面图片由版权图库授权使用
