pepnet:通过注入个性化的先验信息来训练参数化、嵌入化的个性化网络
创始人
2025-05-28 03:09:29

文章地址:https://arxiv.org/pdf/2302.01115.pdf

一、一些基础知识点

多任务、多场景

原文:Multi-task methods focus on fitting target distributions of different tasks, but ignore the semantic differences in the feature space under multi-domain settings. Multi-domain
methods focus on aligning the embedding distributions under different domains, but ignore dependencies in the label space under multi-task settings

翻译:多任务重点在拟合不同任务之间的分布,但是忽略了多领域(场景)下特征空间的不同点。多场景专注于对齐不同场景下的嵌入分布

双跷跷板现象

同一场景下的不同目标之间、不同场景下同一目标,样本稀疏程度、特征空间、用户分布等都是差异

思考如何传入先验知识

如果把这种先验知识放在最底层,那么在网络向上传播的过程中这种信息会变得非常弱,所以在哪里、怎么设计是很重要的一环

ppnet这边的网络,在反向梯度传播时。正常传播到ppnet这边的网络,但是不往主干网络传播,目的是不影响不影响主干网络。设计思想可能是:主干网络和ppnet网络层次分明、各干各的事,如果混在一起在快手这边可能效果不好。但是不一定在每个业务中都要这样,在有些业务中不加这个操作也是可以的,也能拿到正向收益

二、具体的论文解释看这篇文章讲得挺仔细的

「2023 | 快手」PEPNet:融合个性化先验信息的多场景多任务网络 - 知乎

快手牛亚男:基于多Domain多任务学习框架和Transformer,搭建快手精排模型

看文章中,特征有3部分

ppnet侧:从文章中能看出来是user、item、author相关的id类特征

中间主体:用户的各种统计、序列特征、实时、离线等;item的交叉特征;author的交叉特征也放在这里

左侧ep-net:场景相关的id类特征,统计特征等都可以放在这里

其他地方,都可以按照论文中的网络结构来做,也可以mmoe+ppnet+epnet来做。每个tower的N个mlp层乘不乘ppnet的输出都可以,如果只是ppnet的话,可以只乘到最底层的特征嵌入层 

相关内容

热门资讯

慷慨的”小气鬼” 慷慨的”小气鬼”             慷慨的”小气鬼”             佛山市顺德区碧江...
股指期货和股指期权新合约上市通... 来源:中金所 中金所发〔2025〕32号 各会员单位: 沪深300股指期货IF2603合约定于202...
猜灯谜作文 【精选】猜灯谜作文集锦五篇  在日复一日的学习、工作或生活中,大家都不可避免地要接触到作文吧,作文是...
关于2016元宵节的灯谜及答...   后村闺中听风声(打一字)。 封  送走观音使不得(打一字)。 还  一点一点得知(打一字)。 短...
2017年三七女生节祝福语给...   3.7女生节,你是女生你做主,愿你跟随梦想旋律,尽享快乐岁月。下面是小编整理的2017年三七女生...