eBPF Talk: 踩坑 XDP on Mellanox

文摘   科技   2023-05-02 08:10   新加坡  

对 XDP 了解得越多,对 XDP 的信心越是膨胀。最近在 XDP on Mellanox 上踩了个坑,让我对 XDP 的认识又有了新的提升:就是需要保持对技术的敬畏之心,不要过于自信。

P.S. Mellanox 网卡使用 mlx5_core 驱动。

使用 metadata 将信息从 XDP 传到 tc-bpf

掌握了 XDP metadata 技术,就可以将信息从 XDP 传到 tc-bpf,从而实现 XDP 与 tc-bpf 的配合工作。

是,也不是。

以上,的确可以使用 metadata 将信息从 XDP 传到 tc-bpf。

不过,XDP on Mellanox 上,该方式是否真的可行?

bpf_xdp_adjust_meta() 失败了

在 XDP on Mellanox 上,调用 bpf_xdp_adjust_meta() 失败了,返回 -524

T_T,这是我在 XDP 程序里在每条代码逻辑分支上使用 bpf_printk() 打 log 才发现的。

// ${KERNEL}/net/core/filter.c

BPF_CALL_2(bpf_xdp_adjust_meta, struct xdp_buff *, xdp, int, offset)
{
    void *xdp_frame_end = xdp->data_hard_start + sizeof(struct xdp_frame);
    void *meta = xdp->data_meta + offset;
    unsigned long metalen = xdp->data - meta;

    if (xdp_data_meta_unsupported(xdp))
        return -ENOTSUPP;
    if (unlikely(meta < xdp_frame_end ||
             meta > xdp->data))
        return -EINVAL;
    if (unlikely(xdp_metalen_invalid(metalen)))
        return -EACCES;

    xdp->data_meta = meta;

    return 0;
}

// ${KERNEL}/include/net/xdp.h

static __always_inline bool
xdp_data_meta_unsupported(const struct xdp_buff *xdp)
{
    return unlikely(xdp->data_meta > xdp->data);
}

// ${KERNEL}/include/linux/errno.h

#define ENOTSUPP    524 /* Operation is not supported */

?_?,为什么 XDP on Mellanox 上,bpf_xdp_adjust_meta() 失败了?

真相

真相就是 Mellanox mlx5_core 驱动不支持 XDP metadata。

参考上文,看下 mlx5_core 驱动里在执行 XDP 程序前,是如何准备 struct xdp_buff 的。

// ${KERNEL}/drivers/net/ethernet/mellanox/mlx5/core/en_rx.c

// mlx5e_fill_xdp_buff(rq, va, rx_headroom, cqe_bcnt, &xdp);

static void mlx5e_fill_xdp_buff(struct mlx5e_rq *rq, void *va, u16 headroom,
                u32 len, struct xdp_buff *xdp)

{
    xdp_init_buff(xdp, rq->buff.frame0_sz, &rq->xdp_rxq);
    xdp_prepare_buff(xdp, va, headroom, len, true);
}

// ${KERNEL}/include/linux/xdp.h

static __always_inline void
xdp_prepare_buff(struct xdp_buff *xdp, unsigned char *hard_start,
         int headroom, int data_len, const bool meta_valid)

{
    unsigned char *data = hard_start + headroom;

    xdp->data_hard_start = hard_start;
    xdp->data = data;
    xdp->data_end = data + data_len;
    xdp->data_meta = meta_valid ? data : data + 1// <--- 问题出在这里
}

?_?,为什么 5.15 kernel 里不支持 XDP metadata,而 6.0+ kernel 里支持了呢?

  • net/mlx5e: Add support for using xdp->data_meta[1] since 5.18 kernel

好吧,mlx5_core 驱动从 5.18 kernel 开始才支持 XDP metadata。

真相:如果不支持 XDP metadata,xdp->data_meta = xdp->data + 1,最终在 xdp_data_meta_unsupported() 里判断为不支持 metadata,从而导致 bpf_xdp_adjust_meta() 返回 -524。

奇葩小需求:非要将信息从 XDP on Mellanox 传到 tc-bpf 呢?

在 Mellanox 驱动不支持 XDP metadata 的情况下,如何将信息从 XDP on Mellanox 传到 tc-bpf 呢?

一个大胆且实用的办法:使用 struct iphdr IP 头里的 version 字段。

已知需要处理的流量是 IPv4,那么 version 字段固定是 4,就这么处理:

  1. 在 XDP 程序里,将 version 字段的值设置为非 4/6 的值,比如 0。
  2. 在 tc-bpf 程序里,判断 version 字段的值是否为 0,如果是,说明这是需要特殊处理的流量,然后将 version 字段的值设置为 4。

因为在 XDP on Mellanox 到 tc-bpf 的路径上,网络包不会被修改,所以在这两个地方都不需要计算 IP 头部的 checksum。

小结

即使是网卡驱动,也在不断地支持 XDP 一些特性,比如 XDP metadata。

所以,不能拿着 XDP generic mode 的知识去对待 XDP native mode,它们之间还是有所区别的。

不要过于自信,保持对技术的敬畏之心。

参考资料

[1]

net/mlx5e: Add support for using xdp->data_meta: https://github.com/torvalds/linux/commit/c1e80bf4ad3e91dd21a8ccdee129052e25ace7e6

eBPF Talk
专注于 eBPF 技术,以及 Linux 网络上的 eBPF 技术应用