标题：Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction
论文链接：https://arxiv.org/pdf/2408.08713
代码：https://github.com/Ancientshi/KarSein
学校：悉尼科技大学
1 引言
传统的特征交互方法通常根据先验知识预定义最大交互阶数，这限制模型学习的充分性，且高阶的特征交互也会增加计算开销。为实现自适应的高阶特征交互且保留模型学的充分性，本文提出 KarSein (Kolmogorov-Arnold Represented Sparse Efficient Interaction Network)结构，主要贡献为：
1. 探索KAN在CTR预估中的应用，发现其局限性并提出KarSein采用引导符号回归来解决KAN网络在自发学习乘法关系方面的挑战。
2. KarSein保持强大的全局解释性，同时能够去除冗余特征，从而形成稀疏的网络结构。
2 KAN用于CTR预估
2.1 乘法关系学习
2.2 原生KAN用于CTR
使用结构为 64−64−1 的原生KAN网络在MovieLens-1M数据集上训练，得到AUC为0.8273，而DNN模型AUC为0.8403。这表明原生的KAN用于CTR预估会得到次优的结果，不过作者进一步发现，在优化后的 KAN 中许多网络连接贡献很小，使用网络简化技术，KAN 网络从初始的 64−64−1 个神经元修剪为 1−1− 1 ，这表明每个特征一个激活函数可能就足够了，从而消除了在同一特征上使用多个激活函数的成本，这就是 KAN 中的参数冗余。
3 KARSEIN
3.1 网络结构
如上图，KarSein 模型由多个堆叠的 KarSein 交互层构成。该层以一组嵌入向量作为输入，并生成高阶特征交互。特征交互由嵌入向量的三个步骤组成：可选的成对乘法、可学习的激活变换、线性组合。
首先描述下第L层的KarSein交互层，其输入的维度为输出的维度为。对于第L层，令表示输入矩阵，表示输出矩阵，其中第0层输入且表示由嵌入向量堆叠成的输入，同理最后一层输出因为最终输出神经元为1
可选的成对乘法：本文的方法中，在和之间进行特征交互，此过程涉及计算成对特征的哈达玛积，然后将计算结果和连接得到新的矩阵来替代作为后续步骤的输入。通常仅在前两个交互层中使用这个可选的成对乘法步骤就足以指导模型的学习来结合乘法关系。由网络结构图可知，成对乘法生成二阶特征,通过高阶激活和线性变换，这些特征演变为更复杂的多元高阶交互如三变量的6阶交互。虽然f6不能直接捕获所有三变量交互，但堆叠额外的 KarSein 交互层可以有效解决这个问题。例如，在第二个 KarSein 层中，经过进一步激活，产生更复杂的交互，如它涵盖了所有三个变量之间的特征交互，这样模型就可以成功学习更丰富的乘法关系。
3.2 CTR预估
KarSein结构的显示特征交互输出为,隐式特征交互输出为,将其组合即得到最终的网络输出
其中H代表计算熵，整体的训练目标为
4 实验结果
欢迎干货投稿 \ 论文宣传 \ 合作交流
推荐阅读
由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。
由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。
