你管这破玩意儿叫Redis虚拟内存?

文摘   2025-01-21 14:03   四川  

大家好,我是冰河~~

Redis作为分布式缓存的标配,在开发分布式和微服务系统时被广泛应用。但是,很少有小伙伴会去了解有关Redis的虚拟内存。这不,一哥们出去面试就被问到这个问题。今天,我们就一起来聊聊Redis的虚拟内存。

关于Redis

与大多数的NoSQL数据库一样,Redis同样遵循了Key/Value数据存储模型。但是在有些情况下,Redis会将Keys/Values保存在内存中以提高数据查询和数据修改的效率,但是,这种方式也不是最优的。

我们可以进一步优化,尽量在内存中只保留Keys的数据,这样可以保证数据检索的效率,而Values数据在很少使用的时候则可以被持久化到磁盘。

手写RPC手册开源了,关注 冰河技术 微信公众号,回复 rpc2 即可领取,无论你是刚入行的程序员,还是有一定经验的工程师,都可以按照这个手册来造出自己的RPC轮子,而且现在又开放了造轮子视频,学起来就更简单了。小伙伴们可猛戳链接:https://space.bilibili.com/517638832/lists/4186280 学习配套视频教程。

手写RPC专栏视频

在实际的应用中,大约只有10%的Keys属于相对比较常用的键,这样Redis就可以通过虚拟内存将其余不常用的Keys和Values持久化到磁盘上,而一旦这些被持久化的Keys或Values需要被读取时,Redis则将其再次读回到主内存中。

应用场景

对于大多数数据库而言,最为理想的运行方式就是将所有的数据都加载到内存中,而之后的查询操作则可以完全基于内存数据完成。但是,在现实中这样的场景并不多,更多的情况则是只有部分数据可以被加载到内存中。

在Redis中,有一个非常重要的概念,即keys一般不会被交换,所以如果你的数据库中有大量的keys,其中每个key仅仅关联很小的value,那么这种场景就不是非常适合使用虚拟内存。

如果恰恰相反,数据库中只是包含少量的keys,而每一个key所关联的value却非常大,那么这种场景对于使用虚拟内存就非常合适了。

在实际的应用中,为了能让虚拟内存更为充分的发挥作用以帮助我们提高系统的运行效率,我们可以将带有很多较小值的Keys合并为带有少量较大值的Keys。

其中最主要的方法就是将原有的Key/Value模式改为基于Hash的模式,这样可以让很多原来的Keys成为Hash中的属性。

配置Redis虚拟内存

(1)在配置文件中添加以下配置项,以使当前Redis服务器在启动时打开虚拟内存功能。

 vm-enabled yes

(2)在配置文件中设定Redis最大可用的虚拟内存字节数。如果内存中的数据大于该值,则有部分对象被持久化到磁盘中,其中被持久化对象所占用的内存将被释放,直到已用内存小于该值时才停止持久化。

vm-max-memory (bytes)

Redis的交换规则是尽量考虑"最老"的数据,即最长时间没有使用的数据将被持久化。如果两个对象的age相同,那么Value较大的数据将先被持久化。

需要注意的是,Redis不会将Keys持久化到磁盘,因此如果仅仅keys的数据就已经填满了整个虚拟内存,那么这种数据模型将不适合使用虚拟内存机制,或者是将该值设置的更大,以容纳整个Keys的数据。

在实际的应用,如果考虑使用Redis虚拟内存,我们应尽可能的分配更多的内存交给Redis使用,以避免频繁的将数据持久化到磁盘上。

(3)在配置文件中设定页的数量及每一页所占用的字节数。为了将内存中的数据传送到磁盘上,我们需要使用交换文件。这些文件与数据持久性无关,Redis会在退出前会将它们全部删除。

由于对交换文件的访问方式大多为随机访问,因此建议将交换文件存储在固态磁盘上,这样可以大大提高系统的运行效率。

vm-pages 134217728
vm-page-size 32    

在上面的配置中,Redis将需要持久化的文件划分为vm-pages个页,其中每个页所占用的字节为vm-page-size,那么Redis最终可用的交换文件大小为:vm-pages *  vm-page-size。

由于一个value可以存放在一个或多个页上,但是一个页不能持有多个value,鉴于此,我们在设置vm-page-size时需要充分考虑Redis的该特征。

(4)在Redis的配置文件中有一个非常重要的配置参数,即:

 vm-max-threads 4

该参数表示Redis在对交换文件执行IO操作时所应用的最大线程数量。通常而言,我们推荐该值等于主机的CPU cores。

如果将该值设置为0,那么Redis在与交换文件进行IO交互时,将以同步的方式执行此操作。

Redis同步数据方式

对于Redis而言,如果操作交换文件是以同步的方式进行,那么当某一客户端正在访问交换文件中的数据时,其它客户端如果再试图访问交换文件中的数据,该客户端的请求就将被挂起,直到之前的操作结束为止。特别是在相对较慢或较忙的磁盘上读取较大的数据值时,这种阻塞所带来的影响就更为突兀了。

然而同步操作也并非一无是处,事实上,从全局执行效率视角来看,同步方式要好于异步方式,毕竟同步方式节省了线程切换、线程间同步,以及线程拉起等操作产生的额外开销。特别是当大部分频繁使用的数据都可以直接从主内存中读取时,同步方式的表现将更为优异。

至于最终选用哪种配置方式,最好的方式是不断的实验和调优。

写在最后

在冰河的知识星球除了目前正在热更的高性能网关和RPC视频外,还有其他8个项目,像手写高性能熔断组件、手写通用指标上报组件、手写高性能数据库路由组件、分布式IM即时通讯系统、Sekill分布式秒杀系统、手写RPC、简易商城系统等等,这些项目的需求、方案、架构、落地等均来自互联网真实业务场景,让你真正学到互联网大厂的业务与技术落地方案,并将其有效转化为自己的知识储备。

值得一提的是:冰河自研的Polaris高性能网关比某些开源网关项目性能更高,并且冰河也正在为企业级高性能RPC框架录制视频,全程带你分析原理和手撸代码。 你还在等啥?不少小伙伴经过星球硬核技术和项目的历练,早已成功跳槽加薪,实现薪资翻倍,而你,还在原地踏步,抱怨大环境不好。抛弃焦虑和抱怨,我们一起塌下心来沉淀硬核技术和项目,让自己的薪资更上一层楼。

目前,领券还是5折,就可以跟冰河一起学习《手写高性能通用熔断组件项目》、《手写高性能通用监控指标上报组件》、《手写高性能数据库路由组件项目》、《手写简易商城脚手架项目》、《手写高性能RPC项目》和《Spring6核心技术与源码解析》、《实战高并发设计模式》、《分布式Seckill秒杀系统》、《分布式IM即时通讯系统》和《手写高性能Polaris网关》,从零开始介绍原理、设计架构、手撸代码。

花很少的钱就能学这么多硬核技术、中间件项目和大厂秒杀系统与分布式IM即时通讯系统,比其他培训机构不知便宜多少倍,硬核多少倍,如果是我,我会买他个十年!

加入要趁早,星球即将在2025-02-01涨价!!后续还会随着项目和加入的人数涨价,而且只会涨,不会降,先加入的小伙伴就是赚到。

另外,还有一个限时福利,邀请一个小伙伴加入,冰河就会给一笔 分享有奖 ,有些小伙伴都邀请了50+人,早就回本了!

其他方式加入星球

  • 链接 :打开链接 http://m6z.cn/6aeFbs 加入星球。
  • 回复 :在公众号 冰河技术 回复 星球 领取优惠券加入星球。

特别提醒: 苹果用户进圈或续费,请加微信 hacker_binghe 扫二维码,或者去公众号 冰河技术 回复 星球 扫二维码加入星球。

好了,今天就到这儿吧,我是冰河,我们下期见~~

往期推荐

推荐👍《又一个高性能网关项目已经成型,嘎嘎强

推荐👍《历时5个月,分布式IM即时通讯系统完美收官

推荐👍《历时5个月,秒杀系统完美收官

推荐👍《打开计划启动:每个项目的价值都远超门票

推荐👍《从单体到微服务,冰河的秒杀系统上硬菜了

推荐👍《用过来人的身份告诉你大厂为何要自研RPC

推荐👍深入理解高并发编程(第2版)发布

推荐👍SpringCloud Alibaba实战电子书发布

---END---

下方扫码领券限时 5折 加入 冰河技术 知识星球,你将获得:SpringCloud Alibaba实战、实战高并发设计模式、手写高性能网关、手写高性能通用熔断组件、手写分布式IM系统(对接ChatGPT),手写秒杀系统,手写RPC、手写调度系统、Spring6源码解析、并发编程、性能调优、框架源码、面经手册等高质量大厂项目和技术小册/PDF等资料。目前,分布式IM即时通讯系统已经完结,分布式高性能网关项目正在热更中,后续会根据星球加入人数和项目完善情况,逐步涨价,点击:查看更多...

知识星球:冰河技术
公众号后台回复“并发编程2”领取《深入理解高并发编程(第2版)》电子书。回复 “并发编程” 领取冰河原创的全网累计下载超70W+的《深入理解高并发编程(第1版)》电子书。回复 “渗透笔记” 领取冰河原创的全网首个开源的以实战案例为背景的《冰河的渗透实战笔记》电子书。回复 “PDF” 领取冰河整理的其他8本超硬核PDF电子书,海量面试资料和简历模板。
冰河从一名普通程序员,一路进阶成长为互联网资深技术专家,TVP腾讯云最具价值专家,一直致力于分布式系统架构、微服务、分布式数据库、分布式事务、大数据以及云原生技术的研究。在高并发、高可用、高可扩展性、高可维护性、大数据以及云原生等领域拥有丰富的架构经验。希望我的经验能够为你带来帮助。

公众号:冰河技术


视频号:冰河技术


喜欢就点个 在看 呗 👇

冰河技术
分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外,还会分享各种面试题和面试技巧。
 最新文章