移动端部署推举系统：快手获数据挖掘顶会CIKM 2022最佳论文

机器之心专栏

机器之心编纂部

10 月 20 日，信息检索和数据发掘范畴的顶级会议之一 CIKM 2022 公布论文奖项，快手社区科学团队获得了利用研究标的目的「更佳论文奖」。

获奖论文《Real-time Short Video Recommendation on Mobile Devices》针对短视频选举场景，传统办事端摆设的选举系统在决策时机和实时特征操纵方面的不敷问题，通过在挪动客户端摆设选举系统来实时响利用户反应，进步选举成果的精准度，从而提拔用户体验。论文提出的计划 100% 流量摆设到了快手短视频选举消费情况，影响了日均超越 3.4 亿用户的体验，是端上智能在大规模选举场景落地的立异理论。

论文链接：

以下为做者团队对论文工做的详尽解读：

近年来，越来越多的用户通过短视频利用来进修和娱乐，并通过丰富的隐式和显式反应来表达对视频内容的满足度，好比点赞、收躲、分享等（如图 1 所示）。

图 1. 快手利用界面：沉浸式看看，丰富的显式 / 隐式反应

为了给用户选举其感兴致的内容，选举系统必须通过用户的显式或者隐式反应来感知用户的实时兴致。因为短视频时长较短，内容主题也多种多样，用户在短时间内会看看良多差别主题的内容，实时兴致会发作快速变革，那给选举系统带来了很大的挑战。传统选举系统完全数署在办事端，因为整体复杂性高，链路耗时比力长（1 秒摆布），同时为了给客户端留出足够的时间来预加载和衬着视频，避免播放时形成卡顿，因而凡是摘取分页恳求的体例，每次返回多个视频给客户端，依次展现给用户，用户看完前，客户端再倡议下一次恳求。那种架构会带来两个问题：

1.决策时机角度：办事端只要在领受到客户端的恳求时才有时机调整后续选举内容，而无法对用户的实时反应立即做出响应。即便用户对某类内容表示出了明显的偏好或厌恶，客户端也没有法子对候选中的类似内容做提早或者打压操做。

2.特征时效性角度：用户的反应必须回传到办事端才气被操纵，整个链路延迟凡是长达几十秒以至几分钟，对特征的时效性有很大的影响。同时，有一些客户端独有的特征，好比当前时刻下，设备的网速、每个候选视频的预加载时长等，在办事端是无法获取的，但那些因素也会对用户体验形成影响。

跟着挪动设备算力和存储资本的快速提拔，以及挪动端深度进修框架的开展，如今已经能够在挪动设备长进行深度进修模子推理以至操练，因而我们通过在挪动设备上摆设一个重排系统来处理上述问题（图 2）。通过端上重排模子来实现用户反应信号和客户端独有特征的实时操纵，从而得到当前上下文下更准确的预估值。在此根底上，通过自适应确定搜刮步数的 beam search 来生成整体效果更好的排序，从而提拔用户体验，并带来显著的线上效果提拔。

系统框架

图 2. 端上重排系统

如图 2 所示，整个系统分红 3 个部门：

1.办事端的选举系统。那部门就是传统的选举系统，凡是包罗召回、排序、重排等环节，最末输出几十个摆布的候选视频。一些办事端能获取到的特征也会被抽取出来，跟着候选视频一路发送到客户端。

2.模子操练系统。那个模块负责操练拼接操练样本，并操练端上重排模子。操练过程中会按期导出 checkpoint，并转换成 TFLite 格局下发到客户端。

3.客户端选举系统。那是整个系统的核心模块，负责客户端的特征搜集，以及按照用户行为触发候选视频重排。

端上重排模子

整体设想思绪

在现有的公开材料中，端上重排模子一般被设想成端云连系的构造，好比 EdgeRec。即模子在摆设时会拆分红两部门，参数量最多的 embedding 部门摆设在办事端，上层 DNN 部门摆设在客户端。我们设想了一个超轻量级的小模子，能够整体摆设在客户端。之所以摘取那种设想，有如下三个原因：

1.办事端的精排模子是一个十分复杂的超大规模千亿参数模子，在精排模子的预估值中已经蕴含了输进特征中的精华信息，客户端的重排模子能够间接将其做为输进，削减反复计算，也省往了搭建一套类似 pipeline 的操练和推测资本开销。同时，拆分摆设的架构会增加庇护的复杂性，好比客户端的模子更新遭到良多限造，可能同时存在十分多的模子版本，需要包管办事端参数和客户端参数的一致性，那些也会带来更多的资本开销。

2.客户端能获取的实时特征都是比力小规模，而且有明白含义的，好比用户的反应、网速信号等，那些特征也不需要太复杂的收集构造来进修。

3.精排模子用到了用户的持久行为序列，能学到用户的持久兴致，和客户端偏重于用户实时兴致感知的模子正好互补。

我们离线做过比照尝试，相关于我们设想的超轻量级模子，增加更多特征和更复杂构造的模子并没有带来明显的离线目标提拔。

输进特征

模子输进特征分红 3 类：

1.精排模子预估分。前面提到过，精排模子用到的特征和模子构造都很复杂，因而其预估分有很丰富的信息量，那也决定了精排的预估分长短常重要的输进特征。同时精排模子用到了视频 id、用户 id 等记忆性特征，以及十分长的用户汗青行为序列，因而很擅长捕获用户的持久兴致，和客户端偏重用户实时反应的重排模子正好互补。

2.视频静态属性。为了削减参数量，我们次要抉择视频的类别、时长等维度比力低的属性，整体 id 特征的取值数量不超越 10000。

3.客户端特征。用户在看看视频的过程中，客户端会搜集用户反应、看看时长等信息，并组织成按看看时间排序的序列格局，同时也会搜集当前的网速、视频预加载时长等客户端独有的特征，做为端上重排模子输进。

特征工程

为了加强实时特征的效果，还增加了以下穿插特征：

1.候选视频精排 pXTR 和看看汗青视频 pXTR 的差值。差别用户天然存在的 bias 会招致用户间的 pXTR 其实不间接可比，好比有些用户 pXTR 会整体偏高或偏低，因为端上重排模子中没有用到 uid 等特征，间接用 pXTR 的原始分值做为特征会干扰模子进修。通过 pXTR 之差能够消弭那种 bias，而且以比来看过的视频 pXTR 为锚点，能够感知用户的实时兴致偏好。

2.视频曝光时间之差。凡是来说离当前时间越近的视频影响越大。

3.视频曝光位置之差。用户看看视频的速度凡是变革较大，此时曝光位置之差比曝光时间之差会更不变。两者连系起来能够建模视频在时间和空间上的互相影响。

以上特征会进一步和已看看视频的类别以及对应的用户反应进一步穿插，来捕获用户的细粒度偏好。

模子构造

图 3. 端上重排模子

整体模子构造如图 3 所示，除了间接引进候选视频特征和其他特征（如客户端特征）之外，模子次要通过 target attention 来建模已看看的视频序列和候选视频之间的关系，以及已排序候选序列和候选视频之间的关系。上层通过 MMoE 模块来建模 3 个目标，别离是 has_next（下滑）、effective_view（有效播放）和 like（点赞）。

实时的 context-aware 重排

相关于贪婪的单点排序，我们更期看能考虑候选视频之间的互相影响，得到整体效果更好的序列。那里序列整体的效果以 ListReward 来评估，其定义如下：

此中

暗示用户会看到第 i 个视频的概率，用来做为折扣因子，引进后续视频的 reward。α,β是差别目标的权重，P 是候选集合的某个摆列。

生成式重排的长处在于，每一步都能操纵到前序已排序候选的所有信息，基于更完全的 context，来更新待排序候选的各项预估值，使得预估成果更准确，缺点在于计算量比力大，因而摘用基于 beam search 的生成式重排来逐渐生成选举成果。在短视频场景中，用户每次只会看到 n 个视频，因而每次排序只需要确定 top-n 的挨次即可（沉浸式上下滑场景 n=1）。在离线尝试中，我们还看察到，beam search 每一步得到的 k 个序列，它们的 ListReward 的不同跟着搜刮步数增加会单调递加。操纵那个特征，我们定义了 beam search 的不变性，并提出自适应搜刮步数的 beam search（图 4），能够将 beam search 的时间复杂度从 O(km^2) 进一步降低到 O(klm)，此中 k 是 beam size，m 是候选视频数量，l 是现实的搜刮步数，n≤l≪m。

图 4. beam search 不变性及 adaptive beam search 示例

尝试

离线比照

我们在营业数据集上比照了办事端精排模子预估分、简单的 DNN 模子、EdgeRec，成果如下：

表 1. 离线模子效果比照

将 SimpleDNN 和论文提出的模子做比照，能够看到间接加进办事端精排模子预估分做为特征效果其实不好，以至比精排分自己的 AUC 更低，申明那种贫乏记忆性特征的小模子在不做响应特征处置的情况下，很难操纵好精排分那类强个性化的特征。

同时也通过消融尝试验证了差别部门的感化：

表 2. 消融尝试效果比照

CSF：客户端特有的特征，如网速、视频预加载时长等，那类特征对用户能否会陆续看看视频有很大影响。

FE：特征工程。特征工程对效果的影响十分明显。

RTS：用户实时反应序列。点赞比有效播放和下滑操做更稀少，用户实时反应的影响也更小一些。

在线 A/B 尝试

在线尝试在快手 App 的线上情况停止，用到的模子大小在 6MB 以内，完全数署在客户端。

表 3. 在线 A/B 尝试效果

尝试成果表白，基于单点贪婪排序的端上重排相关于没有端上重排的基线，各个目标都有明显提拔。context-aware 的生成式重排在此根底上又带来了进一步的目标提拔。

表 4. 端上重排模子的资本开销

尝试期间也监控了基于 adaptive beam search 生成式端上重排带来的资本开销，表 4 是尝试组中所有设备的资本开销均值，相关于没有端上重排模子的尝试组，CPU 和内存的开销有略微涨幅。通过对视频播放卡顿率等目标的监控表白，端上重排模子对用户体验不会形成影响。

图 5. 线上效果随曝光位置的周期性变革

在尝试过程中，还看察到了线上效果随曝光位置呈现周期性变革（图 5），我们阐发次要有两个原因招致了那个现象：

1.候选集合大小会周期性变革。当办事端的候选集合刚下发到客户端时，候选空间更大，跟着视频逐步曝光，候选数量渐渐变小，潜在的收益空间也逐步收缩，曲到客户端领受到下一次候选集合。

2.办事端排序效果的周期性变革。办事端每次领受到客户端的恳求时，能够操纵比来的用户行为，选举更好的内容，此时排序效果是更好的，跟着用户在客户端持续看看视频，变革的上下文使得办事端的排序逐步变得不敷准确，那也存在周期性的变革。

Case Study

图 6. 反映用户实时反应重要性的例子

图 6 中展现了一个线上的实在例子。用户在当前页中对两个亲子视频有明显的正反应（点赞 + 收躲），但办事端无法实时获取到那些信号，此时候选中的另一个亲子视频，办事端推测的点赞率只要 0.049。而端上模子在引进用户实时反应特征之后，存眷到了用户在同类别视频上的反应（attention 权重更高），对候选视频的点赞率预估值大幅提拔到 0.592，并将其排在靠前的位置（受打散规则限造，没有紧接着之前的亲子视频曝光），最末用户也点赞并收躲了那个视频。那个例子证明用户实时反应对感知其当前的兴致至关重要。

总结

端上重排系统大大提拔选举系统的实时性，带给用户更极致的选举体验。论文在短视频场景通过一个超轻量级的端上重排模子实现了用户反应的实时感知，提拔了离线和在线的效果。别的介绍了端上摆设选举模子的良多实现细节和理论体味，期看可以鞭策端上智能在工业界和学术界的开展。后续会陆续摸索端上选举系统的实时特征操纵，端云结合优化等相关标的目的