指标体系设计

Published: 14 Dec 2018 Category: misc

最近要设计一套推荐系统的指标体系,目的是支持以下需求

  • 对现有若干推荐策略摸底
  • 方便对比各策略在推荐经典指标上表现
  • 支持转化维度评估
  • 覆盖多个业务场景
  • 支持策略后问题快速定位分析

方法论

需求不明晰,涉及维度较多,且要设计出很make sense的体系,给人感觉一团乱麻。遇到此类问题,做事一定要讲究方法论,简单讲

利用思维技能和领域特定知识,定位若干核心正交维度,迅速将大问题拆解成复杂度可控的子问题。在某一具体维度上细分,利用MECE指导原则,尽量做到维度内相互独立且完全穷尽的分类。

迅速找到抽象或具体的维度,是高效思维的一个表现。维度是处理复杂问题的一个大杀器,有意识地寻找关键维度是思维重要一环。

设计

经过几版讨论迭代,设计出如下导图演示的大致框架(略去业务相关内容)

algo-metric-design

左侧是系统涉及到的核心维度,比如场景侧维度、粒度侧维度、指标侧维度以及时间侧维度等;右侧维度的交叉组合。

归纳

基于上述体系,整个系统使用可归纳成如下范式

计算特定场景下,给定粒度上,特定维度指标的「聚合」值。

如此,若有新指标,很容易归纳到该范式下,系统扩展性极强;若指标有冗余,可方便剔除,耦合性极低。