想充分发挥一个组织分析和实验的潜力?这里有一种实用的方法

时间:2022-01-30 15:11:05       来源:36氪

编者按:被数据驱动的企业往往将其关注的重点放在如何做出决策上。如果不需要做出决策,就不需要对数据进行分析,数据派不上用场了,从此也就创造不出任何价值!当组织中每一个成员都把依赖数据驱动的决策当成一种习惯时,组织内的分析文化也就形成了。作者通过分析影响漏斗,提出了一种可量化且可操作的方法,可用来跟踪一个组织如何运用分析和实验以及如何发挥分析和实验潜力的全过程。你也来了解一下吧。本文来自翻译,希望对您有帮助。

一个组织不能只通过雇佣分析师来“开启”一种分析文化。而是要对整个组织进行积极的监控和指导,这样,才能发挥团体应有的真正作用,有望在组织内部建成自己的分析文化!

如果不需要做出决策,就不需要对数据进行分析,数据派不上用场了,从此也就创造不出任何价值!

在如今的时代,每一个人的发展都要依靠数据的驱动,每一个组织的战略部署都围绕着数据转,每一个炒作都浮现出人工智能/机器学习(AI/ML)这一魔棒挥动的影子。大多数企业都在努力从数据中提取价值,并建立一种分析文化。然而通过仔细观察不难发现:从分析中得出的预期往往与组织对数据驱动决策的目标不相匹配。

我们经常听说从数据中创造价值。但在现实中,如果不需要做出决策,就不需要对数据进行分析,数据派不上用场了,从此也就创造不出任何价值!如果组织对数据不能产生实际的需求,那么它就会变成又一个没有人关心的僵尸资产。被数据驱动的企业往往将其关注的重点放在如何做出决策上。

当企业从不了解情况、基于观点的状态转为充分了解情况、基于证据的状态,来做出科学决策时,分析的成熟阶段也就如期而至了。在了解情况、基于证据的状态下做出科学决策,自然需要数据和相关的专门知识来支撑。

图1.分析领导者在新环境下的典型历程

在本文中,将分析的范围定义为“对数据或统计数据的系统分析所产生的见解”,主要讲的是决策支持。

在过去的十年里,从大公司到初创公司和咨询公司,我曾在不同的行业里建立了多个数据团队。也见证并参与了许多挖掘数据潜力的尝试。正如上面所描述的那样,在这个过程里有很多并行的线程,总是以乐观的投资观点开始,最后证明投资的影响和回报。如果管理层被说服了,就会投入更多的资金,如此循环往复。

当组织中每一个成员都把依赖数据驱动的决策当成一种习惯时,组织内的分析文化也就形成了。

根据我的经验,投资周期中最关键的部分总是在度量和展示着“分析”对它产生的影响。没有分析,投资循环就会变慢,分析变得更像是一种服务,而不是“变革的引擎”。

分析主要担任一个决策支持的角色,需要整个组织与之合作。因此,这一支持功能的成功更多地的是为了展示科学过程,而不是决策的最后结果。正如苏达曼(SAllianz ,udamanBenelux的区域首席数据和分析官)在DataFramed播客中提到的,当依赖数据驱动的决策成为组织中每一个成员的习惯时,组织的分析文化也就形成了。

在对追踪和测量分析文化方面的研究中,总是会自然地提到关于分析成熟度阶段的许多广义和抽象的定义。这些定义可能对大型组织使用比例风险回归模型(CXO,Proportional Hazards Model)做出战略投资决策很有帮助,但对我来说几乎毫无用处。通常,管理顾问会利用到,并为大老板指出在分析成熟度方面的发展方向。

作为一名现场分析主管,我所关注的是自己在组织中可发挥哪些作用的问题:“为帮助团队朝着基于数据决策的正确方向前进,我应该做些什么?”是否有一种简单的方法,用来跟踪和监控团队如何利用基于数据的决策?方法是否具有可操作性,以便领导者能够积极地使用并度量,去识别出瓶颈?

在此,我提出了一种可量化且可操作的方法,用来跟踪一个组织如何运用分析和实验以及如何发挥分析和实验潜力的全过程。这就是:

影响漏斗分析法!

图2.分析影响测量漏斗

是的,没错。上面的漏斗看起来太熟悉了。这是我们在互联网上看到的标准创新漏斗。我只是将其应用于分析与实验。它代表了分析的整个路径,通过漏斗的各个阶段及其所代表的指标来跟踪,以确保漏斗发挥其实际性能。

1.漏斗顶部

作为一名领导者,应该具备能引导团队成员去发现需要解决的问题的能力,并开始建立实验、测试和学习的待办事项。关键是持续填充漏斗和保持分析的能力。随着分析成熟度的提高,经常就会看到对“填充”和“保持”能力的需求呈指数级增长,结果导致分析团队的能力耗尽,利益相关者要求给出更多的见解!在没有任何分析项目结果可交付的情况下,这场分析的战役在证明其影响方面就已经失败了。

获得分析项目的机会可以来自任何人:产品开发人员、数据研究人员、用户研究人员、终端用户反馈等等。分析团队应该有一个用来捕捉这些机会的机制,并根据业务目标对它们进行标记和组织。可以用标准的请求形式,或者使用Jira等工具。我们应该以同样的诚意对待每一次商业机会,以确保不会以一种固有的思维方式结束合作、不恰当地拒绝一个好项目。

图3.科学的优先排序框架

任何一个想提出自己想法的成员都应该使用第一原则方法详细说明业务价值和影响。对于一个组织来说,最好能将其标准化。

2.任何一名员工的标准化想法应该得到支持

图4.分析过程

一个高度专注的组织,团队会团结一致,为其企业领导人着想。

创意库会经过企业领导的验证,他们会考虑支持这些创意。尽管创意的产生需要“跳出框框”的思维,但它们在很大程度上应该与业务目标保持一致。当一切进展顺利时,一个高度专注的组织就会建立起来,在这个组织中,团队团结一致,循着企业领导人的意向去思考问题。

很显然,一个更好的调整将有更好的机会提出项目,从而得到企业领导人的支持。支持项目的级别表明了战略调整的代理能力。为了跟踪效果,我们可以对战略调整进行量化衡量:采用被支持的想法与提交的提案总数的比值这一指标。因为这个比值是在战略和愿景层面上衡量的,所以它的衡量范围应该更广泛,而不是在特定的团队层面范围上。

当比值较低时,中高层管理者就有责任去找出缩小差距的方法。通常出现这种差距的原因是业务/战略团队与技术/运营团队之间缺乏实地联系。导致这种情况出现往往是由于缺乏沟通和与高层管理人员的接触较少。组织需要充满激情的人,他们好比是一日千里的骏马。但如果没有调整,没有团结一致的方向,每匹马会就会往不同的方向使劲!

3.令人信服的团队

分析和实验的核心目的是增加业务的可选性!

图5.分析过程

可选性被定义为“可供选择但不是强制性的性质”。简单地说,分析和实验的核心目的是增加业务的可选性。但是,只有当企业有能力行使可选性的权力时,可选性权力才会有用。往往要解决的主要问题是克服惯性,向探索的方向发展,而不是仅仅利用已经知道的问题。

当业务领导支持一个项目时,各实地团队都有不同的优先事项。为一个“可能”受益的项目从其它团队中抽出资源可能是一个很难的交涉。分析领导者应该本着情境同理心,来理解每个团队的优先事项,并相应地安排实验的顺序。

当一切安排妥当时,这些团队将乐于接受被支持的实验。这可以通过业务吸收比率(Business Uptake ratio)指标来衡量,其定义是实际实验次数与赞助项目总数的比率。较低的吸收率可能意味着错过了机会,或者在不同团队之间缺乏业务优先级的调整。造成这种情况的原因可能是业务发起人没有意识到优先级,或者是执行团队没有足够的能力。

4.做出决定

记得绝对要区分开实验的方式和实验的结果。

图6.分析过程

最难做的部分已经完成。走到这一步,已经进行了实验,又分析了结果,并列出了选项。但是,它产生了一个具体的决定了吗?

要明确一点:我们绝对要将实验的方式和结果严格区分开来。一个不正确的实验是一个有缺陷的过程,会导致不确定的结果,当然也就阻碍了具体决策的形成。即使是一个运行完美的实验,产生负面或无影响的结果也应该是在预料之中的。

在理想情况下,期望每个实验或分析的段检人员(POC,Passage Quality Control)都能给出一个建议和做出一个决定。这可以通过有效性指标来获得衡量,指标被定义为进行的实验次数与做出的结论性决定之间的比值。当比值较低时,我们需要反思为什么实验没有做完。

没有做好实验的原因有很多。其中包括问题定义和范围不明确,样本大小和统计能力不充分,计算错误,采取的措施错误,没有考虑到二次效应,时间错误等等。

5.接受决策

图7.分析过程

每一个决策都应该有一个与之相关的行动和结果。当团队完全相信决策时,就会立即采取行动,来表明对所做决策的信任。可以通过接受比值这个指标来衡量信任程度,接受比值的定义是:所采取的行动与所做出的决定的比值。

缺乏后续行动可能意味着对实验或所做决策缺乏信任。如果决策环境和团队的关注点之间脱节了,也会出现这种情况。由于计划和执行实验需要合理的时间,频繁的商业优先级的改变会扰乱实验的流程和行动的相关性。因此,在商业和组织中,稳定是至关重要的,因为这样可以尽快看到实验转变为行动。

6.漏斗底部

图8.分析过程

在大多数组织中,这是一个经常被忽略或不完整的关键部分。根据我的观察,漏斗通常会随着所采取行动记录的增加而静止不动。但是,应该继续监测结果并量化预期的影响。

成功的标准衡量可能会被过于谨慎、不愿冒险的团队或不惜一切代价避免失败的团队所破坏。

业务影响可以是多种形式,如运营改进、销售提升、利润提高、客户参与等等。关键是要使用一个通用的度量标准(通常是货币)来量化这种影响。基于业务影响的各种形式信息,就可以将成功比值定义为:正向的净值与所采取行动总数的比值。虽然较高的比值是可取的,但过于谨慎的团队可能会破坏成功度量标准,因为他们不愿冒险,或者不惜一切代价避免失败。因此,对于较高的成功比值,也应该引起高度注意。

最后一个指标是投资回报率(Return on Investment),简单来说就是通过各种实验产生的总业务价值与分析的总体投资的比率。实验和执行是跨不同团队的跨职能行为。因此,应以一种可接受的方式计算可归因于分析的收益部分。相比使用复杂的模型来分析这个指标,还是建议使用更粗略且更有意义的归因。但要耐心地去等待归因模型的发展。

7.提前归划

从长远来看,任何企业都应该看到这个漏斗的发展趋势和稳定性。虽然更多的投资会导致漏斗顶部变粗,但也会对净收益和投资回报率(ROI),造成压力。另一方面,投资不足或产能不足将使漏斗变细,表明机会成本的积累。

采用漏斗来说明是一个很好的方法,可以让我们明白,单靠分析团队是无法创造奇迹并推动数据成熟的。去完善一个没有业务承诺的分析团队将导致失望和预期的不匹配。

与此同时,也应该避免的是:削减其他职能团队的预算,用以推动更专注的分析。如果产品没有投放市场,数据就无法传递出来,进行分析也就没有意义。

一个开始建立分析和实验文化的组织,最好有一个自上而下的统一的指令,为这些漏斗设置最小的关键绩效指标(KPI,Key Performance Indicator)。这不仅仅是要分析关键绩效指标,而是对组织在推动分析和实验方面的成熟度做出整体的衡量!

译者:甜汤

关键词: 有一种 充分发挥