pepnet：通过注入个性化的先验信息来训练参数化、嵌入化的个性化网络
文章地址：https://arxiv.org/pdf/2302.01115.pdf
一、一些基础知识点
多任务、多场景
原文：Multi-task methods focus on fitting target distributions of different tasks, but ignore the semantic differences in the feature space under multi-domain settings. Multi-domain
methods focus on aligning the embedding distributions under different domains, but ignore dependencies in the label space under multi-task settings翻译：多任务重点在拟合不同任务之间的分布，但是忽略了多领域(场景)下特征空间的不同点。多场景专注于对齐不同场景下的嵌入分布
双跷跷板现象
同一场景下的不同目标之间、不同场景下同一目标，样本稀疏程度、特征空间、用户分布等都是差异
思考如何传入先验知识
如果把这种先验知识放在最底层，那么在网络向上传播的过程中这种信息会变得非常弱，所以在哪里、怎么设计是很重要的一环
ppnet这边的网络，在反向梯度传播时。正常传播到ppnet这边的网络，但是不往主干网络传播，目的是不影响不影响主干网络。设计思想可能是：主干网络和ppnet网络层次分明、各干各的事，如果混在一起在快手这边可能效果不好。但是不一定在每个业务中都要这样，在有些业务中不加这个操作也是可以的，也能拿到正向收益
二、具体的论文解释看这篇文章讲得挺仔细的
「2023 | 快手」PEPNet：融合个性化先验信息的多场景多任务网络 - 知乎
快手牛亚男：基于多Domain多任务学习框架和Transformer，搭建快手精排模型
看文章中，特征有3部分
ppnet侧：从文章中能看出来是user、item、author相关的id类特征
中间主体：用户的各种统计、序列特征、实时、离线等；item的交叉特征；author的交叉特征也放在这里
左侧ep-net：场景相关的id类特征，统计特征等都可以放在这里
其他地方，都可以按照论文中的网络结构来做，也可以mmoe+ppnet+epnet来做。每个tower的N个mlp层乘不乘ppnet的输出都可以，如果只是ppnet的话，可以只乘到最底层的特征嵌入层
上一篇：学习RPM制包的体会