福尔摩斯•K探案录
在伦敦的某个清晨，阳光透过窗帘的缝隙洒在了贝克街221B的侦探事务所内。福尔摩斯·K正悠闲地抽着他的烟斗，而他的忠实伙伴华生·K，则在一旁翻阅着最新的案件资料。突然，一个神秘的电话打破了这份宁静。
电话那头，一位焦急的IT经理向福尔摩斯·K和华生·K诉说了他的困扰。原来，他们公司系统的数据库在早期建设时采用西文字符集，使用的数据同步软件是老牌厂商OGG。随着国产化进程的推进，目前正面临着系统整体迁移的艰巨任务。而如何在数据迁移过程中，确保字符集的正确转换，成了压在他们心头的一块巨石。
面对IT经理的倾诉，福尔摩斯·K微微一笑，眼中闪过一丝狡黠的光芒。“华生·K，看来我们又将开启一场精彩的冒险了。这次，我们的对手不是狡猾的罪犯，而是那些看似无害却暗藏玄机的数据字符。”
No.1
客户痛点：字符集之谜
福尔摩斯·K首先梳理了客户的痛点：
a) 担心因两端数据库字符集不一致，导致迁移后数据出现错误和乱码问题。
b) 在数据量大的情况下，保障数据一致性难度大，费时费力。
c) 除了国产数据库的建设需求外，对国产数据同步工具的平替需求也日益凸显。
“这看起来确实有点麻烦！”华生·K感慨道。
No.2
解决之道：KFS的魔法
正当华生陷入沉思时，福尔摩斯·K突然拍了拍他的肩膀，指着一份资料说：“看，这就是我们的救星——金仓KFS数据同步软件。”他解释道，KFS不仅支持多种不同字符集编码的数据迁移转换，如WE8ISO8859P1、US7ASCII、UTF8、GBK等字符集，还能在数据迁移的全生命周期内保持数据的一致性。
“像是一位精通多国语言的翻译官，无论源端和目标端使用何种语言，它都能准确无误地进行翻译。”福尔摩斯·K形象地比喻道。
No.3
实战演练：X市数据汇聚项目
为了验证KFS的实力，福尔摩斯·K决定带华生·K前往X市的数据汇聚项目现场。在那里，他们见证了KFS在异构数据库不同字符编码集之间的全量数据搬迁、增量数据同步和数据一致性校验修复过程中的卓越表现。
项目中，源端涉及Oracle、SQLServer、MySQL等多种数据库以及多种不同的字符集编码。目标端为KingbaseES数据库，使用UTF-8编码格式。
项目涉及的字符集编码情况见下表：
KFS产品使用效果：在异构数据库不同字符编码集之间的全量数据搬迁、增量数据同步和数据一致性校验修复过程中，没有中文字符乱码现象出现，数据的正确性和一致性得到有效保障！
No.4
深度揭秘：字符集转换的奥秘
福尔摩斯·K还向华生·K揭示了KFS字符集转换的奥秘。
全量数据搬迁字符集转换
全量数据搬迁过程中，字符编码转换过程如下：
1. 使用设置的与源端数据库相同的字符编码格式进行表数据的二进制读取。
2. 将读取的二进制数据流使用设置的与目标端数据库相同的字符编码格式转成字符串。
3. 将转换后的字符串数据写入目标端数据库。
在搬迁过程中自动经过两次的数据字符编码转换，从而保证数据搬迁到目标端后数据内容与源端的一致。
增量数据同步字符集转换
增量数据同步过程中，字符编码转换过程如下：
1. 获取并使用数据库存储字符编码进行日志解析，将增量数据存储到中间文件中。
2. 目标端同步程序通过tcp连接获取源端同步程序的中间文件，不改变数据编码格式。
3. 将数据从中间文件中读取出来并使用与目标端数据库相同的字符编码写入到数据库中。
在增量同步过程中，自动通过设置服务器本地字符编码的方式进行源端和目标端数据库不同字符集的转换，当不能进行本地字符编码修改时，还可以通过配置字符编码的方式进行不同字符集的转换，从而实现增量数据同步源端与目标端数据一致。
数据校验修复字符集转换
数据校验时，数据编码格式转换过程如下：
1. 分别使用设置的与源端和目标端数据库相同的字符编码格式进行表数据的二进制读取。
2. 将二进制流转换成统一字符编码格式的字符串，并进行校验。
3. 将校验结果和差异数据写入数据校验工具内置数据库中。
数据修复时，数据编码格式转换过程如下：
从数据校验工具内置数据库中获取差异数据，并将差异数据转成与目标端数据库一致的字符编码格式写入目标端数据库中。
随着案件的逐渐明朗，福尔摩斯·K和华生·K都不禁为KFS的出色表现而赞叹不已！
金仓KFS数据同步软件，支持丰富的异构数据源字符集编码转换能力，可以保证国产新系统迁移过程中数据端到端的一致性，是替代OGG进行数据迁移同步的最佳选择！
供稿：数据库产品研发中心
