【创新项目探索】openAMDC一种高性能的分布式缓存软件

文摘 2024-10-10 19:50 广东

openAMDC介绍

openAMDC(open Advance Memory Data Cache)是深圳市金蝶天燕云计算股份有限公司开发的高性能的分布式缓存软件，目前已在OpenAtom openEuler，简称“openEuler”社区开源。该软件主要用于在内存中存储、缓存数据，起到消息代理、内存数据库的作用。openAMDC提供丰富的缓存失效策略，支持Strings、Lists、Hashes、Sets和Ordered Sets等数据类型，支持Java、PHP、Python、C、C++和Nodejs等客户端，内置高性能Key-value数据库，支持发布/订阅，支持数据持久化，支持去中心化的集群，集群节点支持自动发现、故障探测、自动故障切换、数据搬迁等能力。

架构特点

1. 多线程架构

通过使用SO_REUSEPORT选项与多线程结合，允许多个线程绑定相同的端口号，充分利用CPU多核资源，提高系统的整体性能，解决了同类软件的共享listen socket的资源争抢的问题，同时实现了并发和数据一致性、worker线程中的不同类型定时任务合理划分。

2. 冷热数据交换

在多线程架构的基础上扩展多级数据存储和交换功能，实现openAMDC数据冷热多级存储，并利用外部的数据库扩展存储空间，在近乎不影响性能的前提下，大幅降低缓存的综合使用成本。

性能对比

openAMDC兼容RESPv2/v3协议，支持所有Redis操作指令以及数据结构，可平滑替换Redis。

在多线程基准测试下相比Redis 6.0性能提高2~3倍
平均响应延迟最高降低至30%

使用场景

1. 金融交易系统时交易数据缓存

在金融交易系统中，对交易数据的实时性要求非常高。可以使用缓存交易数据，如股票价格、交易订单、账户余额等。

2. 社交网络平台在线状态跟踪

在社交网络中，用户的在线状态是一个重要的信息。例如，可以使用缓存的集合（Set）数据结构来存储在线用户的 ID，当用户登录或退出时，相应地添加或移除用户ID到集合中。

3. 设备状态监测

在物联网应用中，需要实时监测大量设备的状态。可以使用缓存来存储设备的状态信息，如传感器数据、设备连接状态、运行参数等。

后续规划

本项目已开源在openEuler社区Bigdata SIG，计划中的开发：

实现OpenAMDC与rocksDB之间的SWAP机制
与rocksDB之间的SWAP机制覆盖所有类型数据
完善管理端能力

欢迎访问和使用:

https://gitee.com/openeuler/openAMDC

http://mp.weixin.qq.com/s?__biz=MzkyMjYzNjU0Ng==&mid=2247511715&idx=2&sn=202c864058c7012d8ad7a6efe80fbcf0

OpenAtom openEuler

openEuler是由开放原子开源基金会（OpenAtom Foundation）孵化及运营的开源项目。 openEuler 面向数字基础设施的操作系统。

20万元奖金来袭！开放原子大赛openEuler系统迁移场景应用挑战赛等你来挑战！

openEuler携手产业伙伴发出全球可持续化发展倡议，共建AI时代数据安全

同济大学推出基于XuWare中间件的功能安全计算操作系统

【活动报名】openEuler Meetup 郑州站

大佬现场挖人？座位爆满？腼腆实习生化身C位罩单舞小蓝？ROS SIG 在 openEuler Summit 2024 做了这些…

openEuler系累计装机量突破1000万，树立操作系统产业新里程碑

直击！操作系统大会2024重磅看点

openEuler Summit 2024：凝聚产业创新力量，共建全球开源新生态

倪光南院士：拥抱开源，为世界贡献一流的服务器操作系统

iSulad支持NRI扩展式插件细粒度、低时延容器资源灵活管理

开源无界：openEuler的全球成长之旅

openEuler Summit 2024 | 欢迎参加SIG组开放工作会议

【Call for Poster 】操作系统大会＆openEuler Summit 2024 Poster 征集

Linux 内核漏洞发布分配机制重大变化，openEuler Kernel SIG maintainer 加入社区漏洞检视组

操作系统大会＆openEuler Summit 2024 | 快来定制你的专属海报吧！

新书｜《操作系统基础与实践——基于openEuler平台》

openEuler Copilot System洞察与实践-美团场景案例

15万元奖金来袭！开放原子大赛openEuler应用软件开发赛等你来挑战！

openEuler 社区 2024 年 10 月运作报告

活动回顾｜openEuler SDS Meetup 北京站

根植openEuler 携手共建“一生态” ——第二届openEuler生态大会（中国·湖南）成功举办

【活动回顾】openEuler Meetup杭州站举办，共话操作系统安全

中移物联OneOS与openEuler联合推出非对称AMP双系统方案

百度智能云发布基于 openEuler 的 BaiduLinux CloudOS

Rust-Shyper 架构简介及对 RISC-V 的支持

1024 | 揭秘不一样的openEuler开发者

就在明天！openEuler Meetup 杭州站，共同探讨操作系统安全

openEuler Summit 2024 | 欢迎参加SIG组开放工作会议

议题亮点抢先看！一起倾听SDS技术高能分享！

深入分析基于AI的系统故障检测技术原理

2024年度openEuler社区贡献之星评选启动

openEuler Copilot System技术分享-- 调优/运维业界洞察

ZVM性能测试报告

【Call for Poster 】操作系统大会＆openEuler Summit 2024 Poster 征集

倒计时3天！openEuler Summit 2024 技术分论坛议题征集即将截止，即刻报名，参与分享

【活动报名】openEuler Meetup 杭州站，共同探讨操作系统安全

【通知】2024年度 openEuler项目群意向捐赠项目征集

【活动报名】openEuler SDS Meetup北京站

关注∣2024年度openEuler领先商业实践单位遴选征集工作正式启动

openEuler 社区 2024 年 9 月运作报告

openEuler与Linaro携手参加OSSUMMIT 2024

etmem：更灵活，更强大的内存分级扩展技术

【创新项目探索】openAMDC一种高性能的分布式缓存软件

开源公告 | 备份软件open-eBackup正式开源

2024年第五届CID参会报名开启！

openEuler Summit 2024 | 诚挚的邀请您提交议题、申报SIG会议、成为共建单位……

openEuler人才认证正式发布

开放原子生态大会--openEuler生态分论坛圆满结束

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉