【创新项目探索】openAMDC一种高性能的分布式缓存软件

文摘 2024-10-10 19:50 广东

openAMDC介绍

openAMDC(open Advance Memory Data Cache)是深圳市金蝶天燕云计算股份有限公司开发的高性能的分布式缓存软件，目前已在OpenAtom openEuler，简称“openEuler”社区开源。该软件主要用于在内存中存储、缓存数据，起到消息代理、内存数据库的作用。openAMDC提供丰富的缓存失效策略，支持Strings、Lists、Hashes、Sets和Ordered Sets等数据类型，支持Java、PHP、Python、C、C++和Nodejs等客户端，内置高性能Key-value数据库，支持发布/订阅，支持数据持久化，支持去中心化的集群，集群节点支持自动发现、故障探测、自动故障切换、数据搬迁等能力。

架构特点

1. 多线程架构

通过使用SO_REUSEPORT选项与多线程结合，允许多个线程绑定相同的端口号，充分利用CPU多核资源，提高系统的整体性能，解决了同类软件的共享listen socket的资源争抢的问题，同时实现了并发和数据一致性、worker线程中的不同类型定时任务合理划分。

2. 冷热数据交换

在多线程架构的基础上扩展多级数据存储和交换功能，实现openAMDC数据冷热多级存储，并利用外部的数据库扩展存储空间，在近乎不影响性能的前提下，大幅降低缓存的综合使用成本。

性能对比

openAMDC兼容RESPv2/v3协议，支持所有Redis操作指令以及数据结构，可平滑替换Redis。

在多线程基准测试下相比Redis 6.0性能提高2~3倍
平均响应延迟最高降低至30%

使用场景

1. 金融交易系统时交易数据缓存

在金融交易系统中，对交易数据的实时性要求非常高。可以使用缓存交易数据，如股票价格、交易订单、账户余额等。

2. 社交网络平台在线状态跟踪

在社交网络中，用户的在线状态是一个重要的信息。例如，可以使用缓存的集合（Set）数据结构来存储在线用户的 ID，当用户登录或退出时，相应地添加或移除用户ID到集合中。

3. 设备状态监测

在物联网应用中，需要实时监测大量设备的状态。可以使用缓存来存储设备的状态信息，如传感器数据、设备连接状态、运行参数等。

后续规划

本项目已开源在openEuler社区Bigdata SIG，计划中的开发：

实现OpenAMDC与rocksDB之间的SWAP机制
与rocksDB之间的SWAP机制覆盖所有类型数据
完善管理端能力

欢迎访问和使用:

https://gitee.com/openeuler/openAMDC

http://mp.weixin.qq.com/s?__biz=MzkyMjYzNjU0Ng==&mid=2247511715&idx=2&sn=202c864058c7012d8ad7a6efe80fbcf0

OpenAtom openEuler

openEuler是由开放原子开源基金会（OpenAtom Foundation）孵化及运营的开源项目。 openEuler 面向数字基础设施的操作系统。

最新文章

【活动报名】openEuler SDS Meetup北京站

关注∣2024年度openEuler领先商业实践单位遴选征集工作正式启动

openEuler 社区 2024 年 9 月运作报告

openEuler与Linaro携手参加OSSUMMIT 2024

etmem：更灵活，更强大的内存分级扩展技术

【创新项目探索】openAMDC一种高性能的分布式缓存软件

开源公告 | 备份软件open-eBackup正式开源

2024年第五届CID参会报名开启！

openEuler Summit 2024 | 诚挚的邀请您提交议题、申报SIG会议、成为共建单位……

openEuler人才认证正式发布

开放原子生态大会--openEuler生态分论坛圆满结束

直播通道开启!开放原子开源生态大会openEuler分论坛邀你来看~

【活动报名】开放原子开源生态大会，一起来探索openEuler吧！

华为全联接大会2024︱openEuler 分论坛成功举办

openEuler 亮相全球顶级开源盛会 OSSUMMIT 2024，持续推动智能化未来的实现

9月26日开放原子开源生态大会openEuler分论坛报名开启！

【活动回顾】openEuler Embedded Meetup广州站：携手共筑工业技术创新之路

2024开放原子开源生态大会 | openEuler引领开源生态创新，成就区域发展与全球影响力

HongOU PI PICO搭载openEuler，openHarmony和Ebaina OS正式发布！

9.16-9.19，openEuler与您相约欧洲开源大会 2024

【活动回顾】openEuler DPU Meetup 苏州站

本周四，openEuler Embedded Meetup 广州见！

openEuler 社区 2024 年 8 月运作报告

开源创新，合作共赢，超聚变成功举办openEuler技术委员会会议

多操作系统跨社区生态融合发展的探索与实践

RISC-V 中国峰会 | OERV 虚拟化和安全容器生态建设路线图发布，异构虚拟化测试方案完成

RISC-V 中国峰会 | openEuler RISC-V 运行时生态建设进展

议题亮点抢先看！一起倾听DPU技术高能分享！

学生专访｜openEuler 郑航：这一刻，兴趣和热爱化作产出具像化了

【活动报名】openEuler Embedded Meetup广州站

2024年度Hackathon软件难题挑战赛来啦！

校源行"开源技术培训系列专题课" | openEuler RISC-V入门课上线了

关于征集openEuler系服务器端操作系统金融应用案例的通知

2024 RISC-V 中国峰会 ·「openEuler RISC-V SIG 开发者日与杭州 Meetup 」成功举办

2024 RISC-V 中国峰会 · 「openEuler RISC-V 精彩亮相」

【活动报名】openEuler DPU Meetup 苏州站

2024年度Hackathon软件难题挑战赛来啦！

gala-anteater ：基于 AI 的操作系统异常检测平台

为openEuler注入灵魂：与开发者共话“协作、挑战与生态”

Linaro参加 openEuler SIG Gathering 2024

速报名！RISC-V 中国峰会同期活动

电信天翼云深度参与openEuler SIG Gathering 2024

oebuild 使用指导来啦，帮你快速上手 openEuler Embedded！

openEuler 社区 2024 年 7 月运作报告

openEuler容器镜像正式获得Docker Hub开源软件(OSS)认证

openEuler SIG Gathering 2024 | Compiler SIG 精彩回顾

openEuler 社区 2024 年 7 月运作报告

OpenAtom openEuler 亮相中非数字合作论坛，与非洲企业共建数智时代领先的基础设施，共建中非数字未来

探讨前沿技术，共创开源未来！麒麟软件深度参与openEuler SIG Gathering 2024

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉