百度又开源一款压测工具,可模拟几十亿的并发场景,太强悍了!

科技   2024-11-02 17:30   上海  

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入芋道快速开发平台知识星球。下面是星球提供的部分资料: 

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号等等功能:

  • Boot 仓库:https://gitee.com/zhijiantianya/ruoyi-vue-pro
  • Cloud 仓库:https://gitee.com/zhijiantianya/yudao-cloud
  • 视频教程:https://doc.iocoder.cn
【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源:github.com/baidu/dperf


dperf 是一款基于 DPDK 的 100Gbps 网络性能和负载测试软件,能够每秒建立千万级的 HTTP 连接、亿级别的并发请求和数百 Gbps 的吞吐量。

优点

性能强大:

  • 基于 DPDK,使用一台普通 x86 服务器就可以产生巨大的流量:千万级的 HTTP 每秒新建连接数,数百 Gbps 的带宽,几十亿的并发连接数

统计信息详细:

  • 能够输出详细的统计信息,并且识别每一个丢包

使用场景丰富:

  • 可用于对四层负载均衡等四层网关进行性能压力测试、长稳测试
  • 可用于对云上虚拟机的网络性能进行测试
  • 可用于对网卡性能、CPU 的网络报文处理能力进行测试
  • 压测场景下,可作为高性能的 HTTP Server 或 HTTP Client 单独使用

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro
  • 视频教程:https://doc.iocoder.cn/video/

性能

HTTP 每秒新建连接数

Client CoresServer CoresHTTP CPS
112,101,044
224,000,423
447,010,743
6610,027,172

HTTP 吞吐

Client CoresServer CoresRX(Gbps)TX(Gbps)Client CPU Usage(%)Server CPU Usage(%)
1118186059
2235356059
4446464343

HTTP 并发连接数

Client CoresServer CoresCurrent ConnectionsClient CPU Usage(%)Server CPU Usage(%)
11100,000,0003439
22200,000,0003639
44400,000,0004041

UDP TX PPS

Client CoresTX MPPSClient CPU Usage(%)
115.9695
229.9595
434.9267
635.9254
837.1222

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud
  • 视频教程:https://doc.iocoder.cn/video/

测试环境配置

dperf 的以上性能数据,基于下面的配置测试得到:

  • 内存: 512GB(大页 100GB)
  • 网卡: Mellanox MT27710 25Gbps * 2
  • 内核: 4.19.90

统计数据

dperf 每秒输出多种统计数据:

  • TPS, CPS, 各种维度的 PPS
  • TCP/Socket/HTTP 级别的错误数
  • 丢包数
  • 按照 TCP Flag 分类的报文重传数
seconds 22                 cpuUsage 52  
pktRx   3,001,058          pktTx    3,001,025          bitsRx   2,272,799,040      bitsTx  1,920,657,600      dropTx  0  
arpRx   0                  arpTx    0                  icmpRx   0                  icmpTx  0                  otherRx 0          badRx 0  
synRx   1,000,345          synTx    1,000,330          finRx    1,000,350          finTx   1,000,350          rstRx   0          rstTx 0  
synRt   0                  finRt    0                  ackRt    0                  pushRt  0                  tcpDrop 0  
skOpen  1,000,330          skClose  1,000,363          skCon    230                skErr   0  
httpGet 1,000,345          http2XX  1,000,350          httpErr  0  
ierrors 0                  oerrors  0                  imissed  0  

开始使用

设置大页

#参考如下参数编辑 '/boot/grub2/grub.cfg',然后重启OS  
linux16 /vmlinuz-... nopku transparent_hugepage=never default_hugepagesz=1G hugepagesz=1G hugepages=8  

编译 DPDK

#编辑'config/common_base'打开PMD开关  
#Mellanox CX4/CX5 requires 'CONFIG_RTE_LIBRTE_MLX5_PMD=y'  
#HNS3 requires 'CONFIG_RTE_LIBRTE_HNS3_PMD=y'  
#VMXNET3 requires 'CONFIG_RTE_LIBRTE_VMXNET3_PMD=y'  
  
TARGET=x86_64-native-linuxapp-gcc #or arm64-armv8a-linuxapp-gcc  
cd /root/dpdk/dpdk-stable-19.11.10  
make install T=$TARGET -j16  

编译 dperf

cd dperf  
make -j8 RTE_SDK=/root/dpdk/dpdk-stable-19.11.10 RTE_TARGET=$TARGET  

绑定网卡

#Mellanox网卡跳过此步  
#假设PCI号是0000:1b:00.0  
  
modprobe uio  
modprobe uio_pci_generic  
/root/dpdk/dpdk-stable-19.11.10/usertools/dpdk-devbind.py -b uio_pci_generic 0000:1b:00.0  

启动 dperf server

#dperf server监听6.6.241.27:80, 网关是6.6.241.1  
./build/dperf -c test/http/server-cps.conf  

从客户端发送请求

#客户端IP必须要在配置文件的'client'范围内  
ping 6.6.241.27  
curl http://6.6.241.27/  

运行测试

下面的例子运行一个 HTTP CPS 压力测试。在 server 端运行 dperf ./build/dperf -c test/http/server-cps.conf

#以另一台机器作为client端,运行dperf  
./build/dperf -c test/http/client-cps.conf  

开源地址

  • https://github.com/baidu/dperf

欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,长按”或“扫描”下方二维码噢

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

文章有帮助的话,在看,转发吧。

谢谢支持哟 (*^__^*)

Java基基
一个苦练基本功的 Java 公众号,所以取名 Java 基基
 最新文章