如何用A/B測(cè)試,給企業(yè)增長(zhǎng)開(kāi)掛?

情感導(dǎo)師 7903

 添加導(dǎo)師微信MurieL0304

獲取更多愛(ài)情挽回攻略 婚姻修復(fù)技巧 戀愛(ài)脫單干貨

圖片來(lái)源@視覺(jué)中國(guó)

文 | 深響,作者|吳鴻鍵

如何用A/B測(cè)試,給企業(yè)增長(zhǎng)開(kāi)掛?

字節(jié)跳動(dòng)旗下的短視頻APP“西瓜視頻”,原本叫“頭條視頻”。但為了讓其在短視頻行業(yè)更具品牌辨識(shí)度,團(tuán)隊(duì)希望更名。

在經(jīng)過(guò)用戶調(diào)研和多輪征集篩選后,團(tuán)隊(duì)選定4個(gè)待選名字進(jìn)行A/B測(cè)試:西瓜視頻、奇妙視頻、筷子視頻、陽(yáng)光視頻。最終的測(cè)試結(jié)果顯示:“西瓜視頻”和“奇妙視頻”的點(diǎn)擊率位列前二,分別比原名稱增加了5.22%、5.08%的點(diǎn)擊率。結(jié)合用戶調(diào)性等因素綜合考量,“頭條視頻”最終更名為“西瓜視頻”。

無(wú)獨(dú)有偶,一次快手內(nèi)部會(huì)議上,聯(lián)合創(chuàng)始人程一笑在聽(tīng)到“只要公司開(kāi)放更多資源,營(yíng)收就能大幅提升”的說(shuō)法時(shí),也只提了一個(gè)要求:先做A/B測(cè)試。

上述決策過(guò)程反映的,其實(shí)是兩家數(shù)字化時(shí)代企業(yè)的共同思路:數(shù)據(jù)驅(qū)動(dòng)、決策不完全依賴個(gè)人經(jīng)驗(yàn)判斷。而A/B測(cè)試,正是該思路的集合體現(xiàn)。

互聯(lián)網(wǎng)巨頭先行驗(yàn)證

大洋彼岸,在Google、Facebook、Netflix、亞馬遜的傳道下,A/B測(cè)試已是風(fēng)靡硅谷的增長(zhǎng)利器。在中國(guó),這一方法論先在頭部互聯(lián)網(wǎng)企業(yè)中應(yīng)用起來(lái)。

目前,BAT均以內(nèi)部自建的方式應(yīng)用A/B測(cè)試。同樣,新一代互聯(lián)網(wǎng)巨頭字節(jié)跳動(dòng)、美團(tuán)、滴滴也都建立了自己的A/B測(cè)試平臺(tái),比如美團(tuán)的Gemini、滴滴的阿波羅、今日頭條的Libra。

具體應(yīng)用上,以即時(shí)配送業(yè)務(wù)為例,美團(tuán)以“提出假設(shè)、定義指標(biāo)、檢驗(yàn)假設(shè)(A/B測(cè)試)、分析學(xué)習(xí)、發(fā)布”五個(gè)步驟完成精細(xì)化的策略迭代,實(shí)現(xiàn)降本增效。類似的邏輯,滴滴應(yīng)用在城市運(yùn)營(yíng)領(lǐng)域、字節(jié)跳動(dòng)則更是把A/B測(cè)試應(yīng)用到了產(chǎn)品命名、交互設(shè)計(jì)、推薦算法、用戶增長(zhǎng)、廣告優(yōu)化等方方面面。

羅征曾任騰訊廣告副總裁,也在谷歌公司任職八年,目前為“像素偏移” 聯(lián)合創(chuàng)始人與CEO。據(jù)他的觀察,目前互聯(lián)網(wǎng)大廠普遍接受A/B測(cè)試的邏輯。在算法層面,技術(shù)團(tuán)隊(duì)基本都能認(rèn)同A/B測(cè)試的價(jià)值。“國(guó)內(nèi)(A/B測(cè)試)的起步雖然晚一些,但我不認(rèn)為國(guó)內(nèi)的發(fā)展比國(guó)外差?!?/p>

但另一重不容忽略的事實(shí)是:大廠之外,A/B測(cè)試的滲透尚處于早期階段。

即使是同處于互聯(lián)網(wǎng)行業(yè)的中小企業(yè),A/B測(cè)試的應(yīng)用仍然較少。自建A/B測(cè)試平臺(tái)需要人才和資金,推進(jìn)A/B測(cè)試需要時(shí)間,要得出可靠的測(cè)試結(jié)果需要足夠的數(shù)據(jù)量。這些對(duì)于中小企業(yè)來(lái)說(shuō)都是稀缺的。

此外,如果業(yè)務(wù)負(fù)責(zé)人缺少應(yīng)用新工具的意識(shí),那么A/B測(cè)試再管用,在公司內(nèi)部也難以推行。而退一步講,就算創(chuàng)業(yè)者樂(lè)于嘗鮮、想靠外包的方式應(yīng)用A/B測(cè)試,市面上也沒(méi)有讓人一下就能想到的值得信賴的工具品牌。

互聯(lián)網(wǎng)行業(yè)尚且如此,傳統(tǒng)行業(yè)自不必說(shuō)。雖然金融行業(yè)已有應(yīng)用A/B測(cè)試的案例,但主要針對(duì)的還是互聯(lián)網(wǎng)相關(guān)的產(chǎn)品,比如金融類APP上的功能測(cè)試。

問(wèn)題隨之而來(lái):產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型不是當(dāng)前的大熱點(diǎn)嗎?既然A/B測(cè)試的價(jià)值已經(jīng)得到巨頭認(rèn)可,為什么還沒(méi)有獲得廣泛普及?

這既有客觀條件的約束,也跟關(guān)鍵位置上的“人”對(duì)于A/B測(cè)試的感知有關(guān)。

對(duì)于中小團(tuán)隊(duì)來(lái)說(shuō),A/B測(cè)試的成本不菲,無(wú)論是時(shí)間、研發(fā),還是對(duì)應(yīng)的機(jī)會(huì)成本。創(chuàng)業(yè)公司從0到1的時(shí)候,尤其看重迭代速度,晚幾天發(fā)布版本,目標(biāo)市場(chǎng)可能就會(huì)被對(duì)手捷足先登,這樣的損失沒(méi)有人愿意承受。

再者,A/B測(cè)試存在較高的技術(shù)壁壘。分流是A/B測(cè)試的基礎(chǔ),企業(yè)需要建立靠譜的A/B測(cè)試平臺(tái),保證科學(xué)的流量分割、流量層直接的正交互斥,使得實(shí)驗(yàn)不受干擾。此外,A/B測(cè)試平臺(tái)的指標(biāo)設(shè)計(jì)和解讀、置信度的統(tǒng)計(jì)方法,也對(duì)應(yīng)著不小的研發(fā)資源投入。

成本和難度之外,A/B測(cè)試也對(duì)企業(yè)本身的數(shù)據(jù)基建提出要求。有些企業(yè)缺乏堅(jiān)固的數(shù)據(jù)基建,并不具備使用A/B測(cè)試的能力。而當(dāng)一個(gè)既認(rèn)可“數(shù)據(jù)驅(qū)動(dòng)”理念、數(shù)據(jù)基建也過(guò)關(guān)的企業(yè)想推進(jìn)A/B測(cè)試時(shí),它會(huì)發(fā)現(xiàn),即使能夠?qū)?shù)據(jù)進(jìn)行聯(lián)動(dòng)打通,市場(chǎng)上也少有成熟、可靠的A/B測(cè)試產(chǎn)品可供使用。

目前,國(guó)內(nèi)獨(dú)立第三方A/B測(cè)試工具還處于相對(duì)分散的狀態(tài),尚待龍頭企業(yè)樹(shù)立標(biāo)桿。部分互聯(lián)網(wǎng)大廠雖然錘煉出了一些可靠的A/B測(cè)試產(chǎn)品,但是對(duì)外開(kāi)放還處于起步階段。

至于關(guān)鍵位置上的“人”的問(wèn)題,一個(gè)典型的場(chǎng)景是,部分掌握話語(yǔ)權(quán)的產(chǎn)品經(jīng)理更愿意相信自己對(duì)于人性的認(rèn)知和對(duì)于審美的把握,在其看來(lái),數(shù)據(jù)只是輔助,真正影響決策的,還得是人的經(jīng)驗(yàn)和洞察。

這或許不是行業(yè)環(huán)境的問(wèn)題,而要追溯到中外教育理念的差異。A/B測(cè)試的理念從根源上更貼近西方教育中的邏輯、實(shí)驗(yàn)、辯證思維。在國(guó)外,A/B測(cè)試基本不需要在理念層面做推廣,而國(guó)內(nèi)的情況則明顯不同。

諸多的客觀約束、加上人們對(duì)A/B測(cè)試的認(rèn)識(shí)存在差異,種種因素的疊加下,行業(yè)存在不少對(duì)A/B測(cè)試的誤讀和兩極化判斷。但好在,已經(jīng)有不少資深從業(yè)者躬身入局,他們的切身感受,正是破解誤讀的關(guān)鍵。

A/B測(cè)試的三大誤區(qū)

根據(jù)「深響」與互聯(lián)網(wǎng)資深從業(yè)者,尤其是有過(guò)A/B測(cè)試實(shí)踐經(jīng)驗(yàn)的專業(yè)人士的交流,目前行業(yè)內(nèi)存在的誤讀和兩極化判斷,主要體現(xiàn)為以下三大誤區(qū):

誤區(qū)一:A/B測(cè)試是在浪費(fèi)資源。

不只是中小企業(yè),大公司內(nèi)部在迭代業(yè)務(wù)時(shí)也會(huì)存在類似的質(zhì)疑。除了上文已經(jīng)提到的搭建測(cè)試平臺(tái)所需的成本,A/B測(cè)試的資源投入還以更直觀的形式體現(xiàn)于執(zhí)行過(guò)程中。

一個(gè)最簡(jiǎn)單的例子,某公司旗下的APP想要提升注冊(cè)轉(zhuǎn)化,此時(shí),業(yè)務(wù)部門想應(yīng)用A/B測(cè)試,準(zhǔn)備測(cè)試方案的過(guò)程需要協(xié)調(diào)各部門(比如設(shè)計(jì)、產(chǎn)品、運(yùn)營(yíng))共同完成,而測(cè)試過(guò)程本身也是個(gè)需要投入時(shí)間的事情。測(cè)試做完,如果A/B測(cè)試效果不夠突出,公司內(nèi)部很容易出現(xiàn)“折騰一趟不劃算”的想法。

成本,是A/B測(cè)試無(wú)法規(guī)避的問(wèn)題。“越小的公司,對(duì)成本的容忍度就越低。這永遠(yuǎn)是一個(gè)取舍的問(wèn)題”,羅征表示。

不過(guò),小公司應(yīng)用A/B測(cè)試的情況也不算罕見(jiàn)。早在2012年,有瞰學(xué)社創(chuàng)始人&CEO、知名互聯(lián)網(wǎng)運(yùn)營(yíng)專家黃有璨就接觸過(guò)A/B測(cè)試,豐富的互聯(lián)網(wǎng)從業(yè)經(jīng)驗(yàn)和創(chuàng)業(yè)經(jīng)驗(yàn),讓其對(duì)A/B測(cè)試的價(jià)值有更切身的體會(huì)。

在黃有璨看來(lái),如果公司業(yè)務(wù)處于早期,那么A/B測(cè)試稍微控制不好,肯定會(huì)造成一定資源浪費(fèi)。但當(dāng)業(yè)務(wù)比較成熟時(shí),管理者思考的是:如果不做精細(xì)的A/B測(cè)試,要承擔(dān)的風(fēng)險(xiǎn)是什么?

“假如這個(gè)測(cè)試能直接影響一年的收入,那么不做A/B測(cè)試,我要承擔(dān)的風(fēng)險(xiǎn)可能是浪費(fèi)三四個(gè)月的時(shí)間(在錯(cuò)誤的決策上)。如果我投入資源做個(gè)詳細(xì)的A/B測(cè)試,可能要花一百萬(wàn)或兩百萬(wàn),但這能幫助我節(jié)省下來(lái)三到四個(gè)月的風(fēng)險(xiǎn),這筆帳肯定能算明白。”黃有璨告訴「深響」。

言而總之,A/B測(cè)試的成本問(wèn)題,說(shuō)到底是性價(jià)比問(wèn)題。而看待A/B測(cè)試的性價(jià)比,不能只是靜態(tài)地看測(cè)試的瞬間,而是要放長(zhǎng)線來(lái)考慮。如果一次A/B測(cè)試幫助企業(yè)前置思考,避免了錯(cuò)誤方案的執(zhí)行,那絕對(duì)是“花小錢辦大事”,不存在資源浪費(fèi)一說(shuō)。

如何評(píng)價(jià)一個(gè)A/B測(cè)試是好是壞?在黃有璨看來(lái),一方面要看A/B測(cè)試本身的成本夠不夠低,或者效率是不是最高,即財(cái)務(wù)上要能算得過(guò)來(lái),測(cè)試反饋也要足夠快;另一方面,A/B測(cè)試結(jié)論的科學(xué)性和準(zhǔn)確性和成本同樣重要。

交流中,黃有璨多次提到了變量控制的難度——用戶的構(gòu)成、時(shí)間上的差異、以及用戶來(lái)源渠道的不同等,都會(huì)影響A/B測(cè)試的準(zhǔn)確性。只有當(dāng)測(cè)試環(huán)境相對(duì)干凈,不受額外變量的干擾,測(cè)試結(jié)果才有參考的價(jià)值。

“誰(shuí)來(lái)設(shè)計(jì)A/B測(cè)試,他的思考或邏輯清晰不清晰,他是否能借A/B測(cè)試的信息反饋快速確定結(jié)論。這件事其實(shí)是更加重要的。”黃有璨表示。

誤區(qū)二:小公司不需要A/B測(cè)試。

小公司需不需要A/B測(cè)試?這個(gè)問(wèn)題其實(shí)已經(jīng)把A/B測(cè)試預(yù)設(shè)成“大費(fèi)周章”的事,但流程只是表象,A/B測(cè)試真正重要的是其“對(duì)照實(shí)驗(yàn)”和“數(shù)據(jù)驅(qū)動(dòng)”的核心理念。

黃有璨向「深響」介紹了一段親身經(jīng)歷,在公司業(yè)務(wù)還未成熟的時(shí)候,為了測(cè)試一個(gè)課程的詳情頁(yè)轉(zhuǎn)化效率,黃有璨自己做了兩三個(gè)版本的詳情頁(yè),將其放在不同的用戶樣本中進(jìn)行測(cè)試,以“人肉”手段跑完了A/B測(cè)試,最后選用了數(shù)據(jù)最好的詳情頁(yè)版本。

在黃有璨看來(lái),A/B測(cè)試不是巨頭的專利,它小到“一個(gè)人都可以做”。當(dāng)業(yè)務(wù)模型得到驗(yàn)證,團(tuán)隊(duì)規(guī)模發(fā)展到幾百人時(shí),需要做A/B測(cè)試的場(chǎng)景也會(huì)越來(lái)越多,這時(shí)公司可以考慮讓第三方工具幫忙提升效率。

上述經(jīng)歷其實(shí)都在說(shuō)明一件事:做不做A/B測(cè)試,跟公司規(guī)模無(wú)關(guān)。如果在意成本問(wèn)題,那么接入第三方工具會(huì)是一個(gè)值得考慮的選擇。

在這方面,羅征向「深響」著重表達(dá)了自己對(duì)于小公司接入第三方工具的認(rèn)可。“大部分小廠可以采用專門的SaaS服務(wù),大廠通常會(huì)因?yàn)樾枨蟊容^復(fù)雜和獨(dú)特而傾向自研?!?/p>

認(rèn)為A/B測(cè)試?yán)速M(fèi)資源也好,認(rèn)為小公司不需要A/B測(cè)試也好,這些其實(shí)都是可以通過(guò)“算賬”解決的問(wèn)題。全盤否定不可取,而盲目買單A/B測(cè)試的做法,同樣不是明智之舉。

誤區(qū)三:A/B測(cè)試是萬(wàn)能的。

互聯(lián)網(wǎng)造就了諸多增長(zhǎng)神話,也顛覆了各行各業(yè)的底層邏輯。因此,不少?gòu)臉I(yè)者將“數(shù)據(jù)驅(qū)動(dòng)”、尤其是以數(shù)據(jù)驅(qū)動(dòng)為核心理念的A/B測(cè)試奉為信仰,他們把A/B測(cè)試當(dāng)作評(píng)判一切的標(biāo)準(zhǔn),試圖將所有業(yè)務(wù)進(jìn)行量化。

這是個(gè)典型的“手拿錘子,看什么都是釘子”的思路。

據(jù)羅征總結(jié),A/B測(cè)試更適用于用戶數(shù)量大、且用戶之間關(guān)聯(lián)度不高,結(jié)果容易以數(shù)據(jù)衡量的領(lǐng)域,如廣告行業(yè)、搜索系統(tǒng)等。如果行業(yè)本身并不具備這些特征,或者壓根沒(méi)法執(zhí)行A/B測(cè)試,那么A/B測(cè)試的價(jià)值就很難體現(xiàn)。

羅征向「深響」描述了一個(gè)無(wú)法應(yīng)用A/B測(cè)試的場(chǎng)景:大部分內(nèi)容行業(yè),比如綜藝節(jié)目,就基本不可能做A/B測(cè)試,而且做產(chǎn)品原始設(shè)計(jì)的時(shí)候,其實(shí)也是不能A/B測(cè)試的。

“有些事情就沒(méi)有辦法A/B測(cè)試,或者A/B測(cè)試的成本過(guò)大,你就做不到了?!?/p>

A/B測(cè)試的真正價(jià)值

生于硅谷的光鮮背景、加上國(guó)內(nèi)互聯(lián)網(wǎng)大廠的帶貨,A/B測(cè)試概念的熱度與日俱增。但太高的起點(diǎn)也讓其被太多模糊焦點(diǎn)的信息所裹挾。糾偏的第一步,在于回本溯源,回答一個(gè)所有企業(yè)都關(guān)心的問(wèn)題:A/B測(cè)試真正的價(jià)值到底是什么?

第一點(diǎn),最直觀的一點(diǎn),A/B測(cè)試能真正落地?cái)?shù)據(jù)驅(qū)動(dòng),幫助企業(yè)科學(xué)決策。在傳統(tǒng)的經(jīng)驗(yàn)主義運(yùn)營(yíng)模式下,業(yè)務(wù)負(fù)責(zé)人能力再?gòu)?qiáng),也難免有失手的時(shí)候。但作為一種前置驗(yàn)證的手段,A/B測(cè)試的價(jià)值不僅能幫助企業(yè)準(zhǔn)確評(píng)估哪個(gè)方案更好,還能評(píng)估出好多少、為決策提供量化參考。

今日頭條APP曾因整體UI風(fēng)格偏大齡被詬病。為了吸引更多年輕用戶和女性用戶,也為了在可接受的負(fù)向范圍內(nèi)改一版用戶評(píng)價(jià)更高的UI,今日頭條通過(guò)控制變量,開(kāi)展了多次A/B測(cè)試,變量包括頭部色值飽和度、字號(hào)、字重、文字間距、底部tab icon等。

經(jīng)過(guò)多次測(cè)試,今日頭條APP最終找到了一套綜合效果最好的UI版本。新UI上線4個(gè)月后,圖文類時(shí)長(zhǎng)顯著提升1.66%、搜索滲透顯著提升1.47%。高頻用戶逐漸適應(yīng)新UI的同時(shí),用戶調(diào)研也顯示,年輕和女性用戶對(duì)新UI表現(xiàn)出了更明顯的偏好。

今日頭條APP的案例正好解釋了量化參考為何重要。在方案的實(shí)際執(zhí)行中,業(yè)務(wù)人員需要在資金、人力、時(shí)間、后續(xù)維護(hù)等方面做好平衡,需要找到邊際效益的臨界點(diǎn)。A/B測(cè)試對(duì)不同方案效果的量化,恰好提供了對(duì)應(yīng)的參考。

更重要的是,在不斷的測(cè)試過(guò)程中,企業(yè)還將沉淀知識(shí),建立起一套科學(xué)的運(yùn)營(yíng)、優(yōu)化體系。這樣一來(lái),業(yè)務(wù)的創(chuàng)新不再高度依賴于某個(gè)關(guān)鍵位置上的“人”,領(lǐng)導(dǎo)者敢于放權(quán),自下而上的創(chuàng)新得以實(shí)現(xiàn)。

第二點(diǎn),同時(shí)也是科學(xué)決策的另一面,A/B測(cè)試能幫助企業(yè)規(guī)避風(fēng)險(xiǎn)。

假如一個(gè)帶有錯(cuò)誤特性的新版本全量推給用戶,影響的可能是千萬(wàn)、甚至上億用戶的體驗(yàn),后續(xù)挽回?fù)p失的代價(jià)也同樣讓企業(yè)難以承受。A/B測(cè)試可以通過(guò)分流出小部分流量進(jìn)行測(cè)試,將負(fù)面影響控制在實(shí)驗(yàn)范圍內(nèi),防止錯(cuò)誤決策造成更大的損失。

“A/B測(cè)試本質(zhì)上,是幫助我們提高選擇、判斷的準(zhǔn)確性,以及提升決策時(shí)的效率,降低成本。”黃有璨告訴「深響」。

第三點(diǎn),從企業(yè)發(fā)展的長(zhǎng)遠(yuǎn)角度看,A/B測(cè)試是企業(yè)復(fù)利式增長(zhǎng)的新標(biāo)配,其盡可能地讓企業(yè)的每個(gè)決策都帶來(lái)正向收益,持續(xù)循環(huán),最終實(shí)現(xiàn)指數(shù)級(jí)增長(zhǎng)。

一家公司,從初創(chuàng)企業(yè)到獨(dú)角獸,再到成為行業(yè)巨頭,整個(gè)過(guò)程中最令人驚嘆的地方往往是:這家企業(yè)需要在每個(gè)重要節(jié)點(diǎn)都做出正確的選擇。如果稍有不慎,哪怕只是一次錯(cuò)誤,也可能讓原處于高歌猛進(jìn)狀態(tài)的企業(yè)走起下坡路。

道理不難懂,難點(diǎn)在于,沒(méi)有人能看到未來(lái),只能盡最大努力基于已有信息作判斷。而A/B測(cè)試,是一個(gè)把消費(fèi)者行為數(shù)據(jù)化、用數(shù)據(jù)對(duì)行為進(jìn)行量化反饋的過(guò)程,這對(duì)企業(yè)預(yù)判趨勢(shì)大有裨益。

從心理上,用戶往往不知道自己要什么,但其選擇偏好其實(shí)已經(jīng)反映在了行為上,只是市場(chǎng)尚未有相應(yīng)供給,告訴他們“你要的是這個(gè)”罷了。通過(guò)A/B測(cè)試,企業(yè)能夠知曉消費(fèi)者的選擇偏好,由此動(dòng)態(tài)做出決策,這相當(dāng)于把“用戶中心”往前再推一步,變成“用戶決策中心”,確保每個(gè)決策都為企業(yè)帶來(lái)正向收益,實(shí)現(xiàn)復(fù)利效應(yīng)。

簡(jiǎn)言之,A/B測(cè)試讓業(yè)務(wù)迭代、新品研發(fā)能夠有的放矢,原本不確定的決策,將變成確定的決策,企業(yè)得以精準(zhǔn)洞察商機(jī)。

除了驅(qū)動(dòng)增長(zhǎng)之外,A/B測(cè)試還可以幫助企業(yè)“做減法”。當(dāng)前,很多企業(yè)推出了五花八門的服務(wù),試圖在廣撒網(wǎng)中找到增長(zhǎng)密碼,但用戶體驗(yàn)不增反降。而A/B測(cè)試,恰能幫助企業(yè)精準(zhǔn)地“做減法”,幫用戶簡(jiǎn)化場(chǎng)景中的選擇。

最后,從更底層的理念層面看,A/B測(cè)試是落實(shí)數(shù)據(jù)驅(qū)動(dòng)理念的最佳工具。讓理念得到落實(shí),進(jìn)而輻射、滲透到企業(yè)的血脈中,才是A/B測(cè)試更大的價(jià)值。

小到UI設(shè)計(jì)的改變、轉(zhuǎn)發(fā)按鈕的放置,大到組織的迭代升級(jí),A/B測(cè)試的價(jià)值可以貫穿企業(yè)增長(zhǎng)的全過(guò)程。

但要做好A/B測(cè)試并不容易,需要有足夠?qū)I(yè)的人來(lái)設(shè)計(jì)測(cè)試方案,也需要決策者對(duì)A/B測(cè)試有足夠的認(rèn)同。這樣,A/B測(cè)試才不至于在推行之初就阻力重重。

萬(wàn)事開(kāi)頭難,何況是一個(gè)投入先于效果、且極其考驗(yàn)決策者決心的工程。唯一可以確定的是,A/B測(cè)試的重要性日益凸顯,價(jià)值已經(jīng)非常明確。挑戰(zhàn)當(dāng)然有,但當(dāng)企業(yè)真正掌握這把增長(zhǎng)利劍時(shí),業(yè)務(wù)增長(zhǎng)路徑就會(huì)豁然開(kāi)朗。

評(píng)論列表

頭像
2024-10-29 19:10:21

服務(wù)特別好,而且給人的感觸也挺深的,真的可以的

頭像
2024-07-03 20:07:31

求助

頭像
2024-05-29 03:05:32

被拉黑了,還有希望么?

 添加導(dǎo)師微信MurieL0304

獲取更多愛(ài)情挽回攻略 婚姻修復(fù)技巧 戀愛(ài)脫單干貨

發(fā)表評(píng)論 (已有3條評(píng)論)