其他
推荐系统技术综述
导读 今天给大家分享一下推荐系统在近年来的整体技术发展。文中的很多观点和技术都参照于业界的论文以及一些外部的文章。
全文目录如下:
1. 推荐系统技术架构
2. 用户理解
3. 召回技术
4. 排序技术
5. 其它推荐算法方向
6. 评估
分享嘉宾|陈祖龙 阿里巴巴 高级算法专家
编辑整理|马慧 汇丰达
出品社区|DataFun
评估
1. 整体指标
随着视频等行业的兴起,指标方案也在发生变化,主要可以分为:① 转化率的指标。② 推荐类的指标,推荐质量类的指标。③ 消费满意度的指标。这里面有传统的 CTR、CVR、ECPM、客单价、DAU 类,也有多样性、新颖性等很多指标,还有留存、停留时长等等。2. 分阶段指标
推荐系统还是要以线上的 AB test + 离线指标两者的融合才能有更好的说服力。推荐系统线上的指标是与所推荐的内容,包括场景密切相关的,所以说推荐系统的目标不一样,所选择的指标观测也不一样。这张图可以分为离线和在线,上层的在线主要看的是整体指标,下面的离线主要是从召回、到粗排、到精排、到重排每个阶段各个部分看的效果。在召回阶段,大家比较常用的一些 Recall、Precision、F1、NS-recall、NS-precision 还有 Hit Rate 等等,基于场景的不一样,还有很多去看 KL 散度、长尾判断。在粗排阶段,除了常用的 AUC、GUC、MAP 相关性指标之外,还有跟精排分数的一致性,这个是非常重要的,因为最终粗排要优化的目标还是要跟精排打分的尽量保持一致性。在精排和重排阶段还是要面向场景化,除了要看正常的 AUC、GUC,还要看是不是要分类目去看 AUC、GUC,是不是要分人群、分场景,都是需要深入动态做的。以上就是今天分享的内容,感谢大家。分享嘉宾
INTRODUCTION
陈祖龙
阿里巴巴
高级算法专家
2013 年毕业东北大学,先后在百度知识搜索部,淘宝搜索与推荐,飞猪技术算法,一直在做搜索、推荐等相关工作,曾在 WWW,KDD,SIGIR,CIKM,ICDE 等多个国际期刊和会议上发表二十多篇论文。