如何实现亿级流量下的分布式限流?这些理论你必须掌握!!

文摘   2024-10-28 08:00   四川  

大家好,我是冰河~~

在互联网应用中,高并发系统会面临一个重大的挑战,那就是大量流高并发访问,比如:天猫的双十一、秒杀、抢购促销等,这些都是典型的大流量高并发场景。关于秒杀,小伙伴们可以参见我的另一篇文章《实践出真知:全网最强秒杀系统架构解密!!

文末领券加入星球,猛戳链接:https://t.zsxq.com/iG6Fq 从零开始学习秒杀系统。

注意:由于原文篇幅比较长,所以被拆分为:理论、算法、实战(HTTP接口实战+分布式限流实战) 三大部分。

高并发系统限流

短时间内巨大的访问流量,我们如何让系统在处理高并发的同时还能保证自身系统的稳定性?有人会说,增加机器就可以了,因为我的系统是分布式的,所以可以只需要增加机器就可以解决问题了。

但是,如果你通过增加机器还是不能解决这个问题怎么办呢?而且这种情况下又不能无限制的增加机器,服务器的硬件资源始终都是有限的,在有限的资源下,我们要应对这种大流量高并发的访问,就不得不采取一些其他的措施来保护我们的后端服务系统了,比如:缓存、异步、降级、限流、静态化等。

这里,我们先说说如何实现限流。

什么是限流?

在高并发系统中,限流通常指的是:对高并发访问或者请求进行限速或者对一个时间内的请求进行限速来保护我们的系统,一旦达到系统的限速规则(比如系统限制的请求速度),则可以采用下面的方式来处理这些请求。

  • 拒绝服务(友好提示或者跳转到错误页面)。
  • 排队或等待(比如秒杀系统)。
  • 服务降级(返回默认的兜底数据)。

其实,就是对请求进行限速,比如10r/s,即每秒只允许10个请求,这样就限制了请求的速度。从某种意义上说,限流,其实就是在一定频率上进行量的限制。

限流一般用来控制系统服务请求的速率,比如:天猫双十一的限流,12306的抢票等。

限流有哪些使用场景?

这里,我们来举一个例子,假设你做了一个商城系统,某个节假日的时候,突然发现提交订单的接口请求比平时请求量突然上涨了将近50倍,没多久提交订单的接口就超时并且抛出了异常,几乎不可用了。而且,因为订单接口超时不可用,还导致了系统其它服务出现故障。

我们该如何应对这种大流量场景呢?一种典型的处理方案就是限流。当然了,除了限流之外,还有其他的处理方案,我们这篇文章就主要讲限流。

  • 对稀缺资源的秒杀、抢购;
  • 对数据库的高并发读写操作,比如提交订单,瞬间往数据库插入大量的数据;

限流可以说是处理高并发问题的利器,有了限流就可以不用担心瞬间高峰流量压垮系统服务或者服务雪崩,最终做到有损服务而不是不服务。

使用限流同样需要注意的是:限流要评估好,测试好,否则会导致正常的访问被限流。

写在最后

在冰河的知识星球除了目前正在热更的高性能网关外,还有其他8个项目,像高性能熔断组件、通用指标上报组件、分布式IM即时通讯系统、Sekill分布式秒杀系统、手写RPC、简易商城系统等等,这些项目的需求、方案、架构、落地等均来自互联网真实业务场景,让你真正学到互联网大厂的业务与技术落地方案,并将其有效转化为自己的知识储备。

值得一提的是:冰河自研的Polaris高性能网关比某些开源网关项目性能更高,你还在等啥?不少小伙伴经过星球硬核技术和项目的历练,早已成功跳槽加薪,实现薪资翻倍,而你,还在原地踏步,抱怨大环境不好。抛弃焦虑和抱怨,我们一起塌下心来沉淀硬核技术和项目,让自己的薪资更上一层楼。

目前,领券5折,就可以跟冰河一起学习《手写高性能Polaris网关》、《手写高性能通用熔断组件项目》、《手写高性能通用监控指标上报组件项目》、《简易商城脚手架项目》、《手写高性能RPC项目》和《Spring6核心技术与源码解析》、《实战高并发设计模式》、《分布式Seckill秒杀系统》和《分布式IM即时通讯系统》,从零开始介绍原理、设计架构、手撸代码。

花很少的钱就能学这么多硬核技术、中间件项目和大厂秒杀系统与分布式IM即时通讯系统,比其他培训机构不知便宜多少倍,硬核多少倍,如果是我,我会买他个十年!

加入要趁早,后续还会随着项目和加入的人数涨价,而且只会涨,不会降,先加入的小伙伴就是赚到。

另外,还有一个限时福利,邀请一个小伙伴加入,冰河就会给一笔 分享有奖 ,有些小伙伴都邀请了50+人,早就回本了!

其他方式加入星球:

  • 链接 :打开链接 http://m6z.cn/6aeFbs 加入星球。
  • 回复 :在公众号 冰河技术 回复 星球 领取优惠券加入星球。

特别提醒: 苹果用户进圈或续费,请加微信 hacker_binghe 扫二维码,或者去公众号 冰河技术 回复 星球 扫二维码加入星球。

好了,希望今天的内容能够为大家带来实质性的帮助,我是冰河,我们下期见~~

往期推荐

推荐👍《又一个高性能网关项目已经成型,嘎嘎强

推荐👍《历时5个月,分布式IM即时通讯系统完美收官

推荐👍《历时5个月,秒杀系统完美收官

推荐👍《打开计划启动:每个项目的价值都远超门票

推荐👍《从单体到微服务,冰河的秒杀系统上硬菜了

推荐👍《用过来人的身份告诉你大厂为何要自研RPC

推荐👍深入理解高并发编程(第2版)发布

推荐👍SpringCloud Alibaba实战电子书发布

---END---

下方扫码领券限时 5折 加入 冰河技术 知识星球,你将获得:SpringCloud Alibaba实战、实战高并发设计模式、手写高性能网关、手写高性能通用熔断组件、手写分布式IM系统(对接ChatGPT),手写秒杀系统,手写RPC、手写调度系统、Spring6源码解析、并发编程、性能调优、框架源码、面经手册等高质量大厂项目和技术小册/PDF等资料。目前,分布式IM即时通讯系统已经完结,分布式高性能网关项目正在热更中,后续会根据星球加入人数和项目完善情况,逐步涨价,点击:查看更多...

知识星球:冰河技术
公众号后台回复“并发编程2”领取《深入理解高并发编程(第2版)》电子书。回复 “并发编程” 领取冰河原创的全网累计下载超70W+的《深入理解高并发编程(第1版)》电子书。回复 “渗透笔记” 领取冰河原创的全网首个开源的以实战案例为背景的《冰河的渗透实战笔记》电子书。回复 “PDF” 领取冰河整理的其他8本超硬核PDF电子书,海量面试资料和简历模板。
冰河从一名普通程序员,一路进阶成长为互联网资深技术专家,TVP腾讯云最具价值专家,一直致力于分布式系统架构、微服务、分布式数据库、分布式事务、大数据以及云原生技术的研究。在高并发、高可用、高可扩展性、高可维护性、大数据以及云原生等领域拥有丰富的架构经验。希望我的经验能够为你带来帮助。

公众号:冰河技术


视频号:冰河技术


喜欢就点个 在看 呗 👇

冰河技术
分享各种编程语言、开发技术、分布式与微服务架构、分布式数据库、分布式事务、云原生、大数据与云计算技术和渗透技术。另外,还会分享各种面试题和面试技巧。
 最新文章