神譯局是36氪旗下編譯團(tuán)隊(duì)，關(guān)注科技、商業(yè)、職場(chǎng)、生活等領(lǐng)域，重點(diǎn)介紹國(guó)外的新技術(shù)、新觀點(diǎn)、新風(fēng)向。

編者按：決策是行動(dòng)的指南。不管是個(gè)人還是企業(yè)，每天都要面臨著無(wú)數(shù)的決策。決策的好壞會(huì)對(duì)結(jié)果產(chǎn)生巨大影響，如何做好決策是每個(gè)人都要上的一門(mén)必修課。在Netflix這里，他們采用了一種以實(shí)驗(yàn)為導(dǎo)向的決策流程，先小范圍地對(duì)不同方案進(jìn)行測(cè)試，根據(jù)對(duì)比效果調(diào)整，從而摸索出普遍適用的決策。他們?yōu)榇诉€在官方技術(shù)博客推出了關(guān)于Netflix如何用A/B測(cè)試做出決策的系列文章。本文來(lái)自編譯，是系列文章的第七篇，也是最后一篇，談的是學(xué)習(xí)文化的重要性。

劃重點(diǎn)：

Netflix強(qiáng)調(diào)了從數(shù)據(jù)中學(xué)習(xí)的重要性

學(xué)習(xí)與實(shí)驗(yàn)滲透到了Netflix的各個(gè)地方

實(shí)驗(yàn)對(duì) Netflix 來(lái)說(shuō)是一種雙贏的價(jià)值主張

相關(guān)閱讀：

Netflix 是如何做決策的？（一）：介紹

Netflix是如何做決策的？（二）：什么是 A/B 測(cè)試？

Netflix是如何做決策的？（三）：誤報(bào)與統(tǒng)計(jì)顯著性

Netflix是如何做決策的？（四）：漏報(bào)與功效

Netflix是如何做決策的？（五）：樹(shù)立對(duì)決策的信心

Netflix是如何做決策的？（六）：實(shí)驗(yàn)是主要關(guān)注焦點(diǎn)

本系列的前幾篇文章介紹了A/B 測(cè)試的WHY、WHAT以及HOW，所有這些都是產(chǎn)品開(kāi)發(fā)從實(shí)驗(yàn)中獲益所必需的。但是如果不加上一點(diǎn)魔法的話，光有這些還是不夠的。

怎么把實(shí)驗(yàn)的原材料轉(zhuǎn)化成渦輪增壓的產(chǎn)品創(chuàng)新？其中的秘訣在于文化。文化的發(fā)展壯大從來(lái)沒(méi)有捷徑可走，培養(yǎng)實(shí)驗(yàn)文化也不例外。要想讓領(lǐng)導(dǎo)層支持聚焦 A/B 測(cè)試的學(xué)習(xí)方法、建立起對(duì)測(cè)試結(jié)果的信任，以及形成大規(guī)模實(shí)施實(shí)驗(yàn)的技術(shù)能力，這些都需要時(shí)間——尤其是對(duì)這些想法不熟悉的組織要想做到的話更是需要時(shí)間。但是通過(guò)科學(xué)方法進(jìn)行實(shí)驗(yàn)所帶來(lái)的回報(bào)，以及讓產(chǎn)品開(kāi)發(fā)形成良性循環(huán)是非常值得的。關(guān)于如何啟動(dòng)實(shí)驗(yàn)飛輪以及建立實(shí)驗(yàn)文化，我們?cè)谖④浀耐路窒砹艘恍┛紤]周到的出版物，而他們的“從爬到走再到跑最后飛起來(lái)”（rawl, Walk, Run, Fly）的模型是評(píng)估實(shí)驗(yàn)實(shí)踐成熟度的好工具。

在 Netflix這里，我們幾十年來(lái)一直都在利用實(shí)驗(yàn)和科學(xué)方法，并且很幸運(yùn)擁有成熟的實(shí)驗(yàn)文化。實(shí)驗(yàn)文化得到了包括高層在內(nèi)的全公司的的廣泛支持，只要有可能，A/B 測(cè)試或其他因果推理方法的結(jié)果幾乎就是決策的必需。我們還對(duì)教育計(jì)劃進(jìn)行投資，從而提高公司范圍內(nèi)對(duì)我們?cè)趺从?A/B 測(cè)試作為產(chǎn)品開(kāi)發(fā)框架的理解。事實(shí)上，本系列的大部分材料都改編自我們內(nèi)部的實(shí)驗(yàn) 101 和 201 課程（面向Netflix全員開(kāi)放）。

Netflix是學(xué)習(xí)型組織

作為一家企業(yè)，Netflix有組織地強(qiáng)調(diào)了從數(shù)據(jù)中學(xué)習(xí)的重要性，這也包括了從 A/B 測(cè)試中的學(xué)習(xí)。我們的數(shù)據(jù)和洞察組織有團(tuán)隊(duì)跟公司的各個(gè)部門(mén)合作，為了解全球各地的內(nèi)容偏好，提供無(wú)縫的客戶支持體驗(yàn)提供支持。我們采用了定性與定量結(jié)合的消費(fèi)者研究、分析、實(shí)驗(yàn)、預(yù)測(cè)建模等工具來(lái)深入了解會(huì)員。我們擁有數(shù)據(jù)管道，為從面向執(zhí)行人員的儀表板到個(gè)性化系統(tǒng)提供支持，從而幫助將Netflix 會(huì)員與適當(dāng)?shù)膬?nèi)容建立關(guān)聯(lián)。這種數(shù)據(jù)驅(qū)動(dòng)的思維方式已經(jīng)是滲透到公司的各個(gè)層面，就連Netflix的最高領(lǐng)導(dǎo)層也是數(shù)據(jù)和洞察力組織的體現(xiàn)。

Netflix的企業(yè)文化是用數(shù)據(jù)說(shuō)話

正如第 6 部分所討論的那樣，我們有部分專注于實(shí)驗(yàn)與因果推理的數(shù)據(jù)科學(xué)家在跟Netflix 的產(chǎn)品創(chuàng)新團(tuán)隊(duì)合作。這些數(shù)據(jù)科學(xué)家會(huì)設(shè)計(jì)和執(zhí)行測(cè)試，從而為學(xué)習(xí)議程提供支持，并為決策做出貢獻(xiàn)。通過(guò)深入研究某個(gè)測(cè)試結(jié)果的細(xì)節(jié)、尋找不同測(cè)試之間的共同模式，以及探索其他的數(shù)據(jù)源，這些 Netflix 數(shù)據(jù)科學(xué)家積累了有關(guān) Netflix 體驗(yàn)各個(gè)方面的領(lǐng)域?qū)I(yè)知識(shí)，并成為產(chǎn)品經(jīng)理和工程領(lǐng)導(dǎo)者的重要合作伙伴。數(shù)據(jù)科學(xué)家通過(guò)評(píng)估機(jī)會(huì)大小以及確定適合創(chuàng)新的領(lǐng)域來(lái)幫助塑造 Netflix 產(chǎn)品的發(fā)展，并經(jīng)常會(huì)提出隨后需經(jīng)過(guò)測(cè)試的假設(shè)。

我們還投資了一個(gè)廣泛而靈活的實(shí)驗(yàn)平臺(tái)，讓我們的實(shí)驗(yàn)計(jì)劃能夠隨著公司對(duì)學(xué)習(xí)和了解的雄心壯大而擴(kuò)展。就像 Netflix 產(chǎn)品本身這些年來(lái)一直在不斷發(fā)展一樣，我們支持大規(guī)模實(shí)驗(yàn)的技術(shù)開(kāi)發(fā)手段也在不斷發(fā)展。事實(shí)上，這20 多年來(lái)，我們一直致力于改進(jìn) Netflix 的實(shí)驗(yàn)平臺(tái)解決方案——我們對(duì)支持 A/B 測(cè)試的工具的第一筆投資可以追溯到 2001 年。

Netflix 的 Stan Lanning在2001年開(kāi)發(fā)的早期實(shí)驗(yàn)工具。

學(xué)習(xí)與實(shí)驗(yàn)滲透到了Netflix的各個(gè)地方

Netflix 擁有獨(dú)特的內(nèi)部文化，這種文化強(qiáng)化了實(shí)驗(yàn)和科學(xué)方法的使用。作為一家公司，我們的目標(biāo)是保持好奇心，真正地、誠(chéng)實(shí)地去了解我們?cè)谑澜绺鞯氐臅?huì)員，并服務(wù)好他們。我們?cè)谒枷肷弦脖３珠_(kāi)放，知道偉大的想法可能會(huì)來(lái)自不太可能的來(lái)源。對(duì)于學(xué)習(xí)和做出大決策來(lái)說(shuō)，沒(méi)有一種辦法能優(yōu)于運(yùn)用嚴(yán)格測(cè)試的力量來(lái)確認(rèn)或證偽想法。公開(kāi)、坦誠(chéng)地分享測(cè)試結(jié)果可以讓 Netflix 的每個(gè)人對(duì)會(huì)員形成直覺(jué)，并就我們?nèi)绾螢樗麄兲峁└玫捏w驗(yàn)提出想法——于是就啟動(dòng)了一個(gè)良性循環(huán)。

事實(shí)上，Netflix隨時(shí)要跑的測(cè)試太多了，以至于某位會(huì)員可能會(huì)同時(shí)被分配到多個(gè)測(cè)試之中。其實(shí)Netflix 作為產(chǎn)品并不是一個(gè)：在任何特定時(shí)間，我們都在測(cè)試大量的產(chǎn)品變體，始終致力于尋求進(jìn)一步了解如何為現(xiàn)有會(huì)員帶來(lái)更多樂(lè)趣，同時(shí)吸引新的會(huì)員。有些測(cè)試，比方說(shuō)十大排行榜，是用戶很容易就能注意到的，而其他一些測(cè)試，比方說(shuō)個(gè)性化以及搜索系統(tǒng)的變更，或者流媒體視頻的編碼與提供，則不太明顯。

在 Netflix這里，我們不懼大膽的測(cè)試，不怕挑戰(zhàn)基本的或長(zhǎng)期固有的假設(shè)。在這兩點(diǎn)上，十大排行榜都是一個(gè)很好的例子：對(duì)于在Netflix產(chǎn)品上面暴露一種新型證據(jù)來(lái)說(shuō)，十大排行榜屬于巨大而顯著的改變。像這樣的大型測(cè)試可以開(kāi)辟出全新的創(chuàng)新領(lǐng)域，在公司內(nèi)部也會(huì)引起積極的辯論（見(jiàn)下文）。而在另一方面，我們也會(huì)展開(kāi)更小規(guī)模的測(cè)試，以優(yōu)化產(chǎn)品的方方面面。一個(gè)很好的例子是我們?yōu)閷ふ倚麄鳟a(chǎn)品各方面的正確文案所做的測(cè)試。就數(shù)字而言，這些更小的，不那么不引人注目的測(cè)試要多得多，我們投資于端到端的基礎(chǔ)設(shè)施，目的是簡(jiǎn)化實(shí)驗(yàn)的執(zhí)行，讓產(chǎn)品團(tuán)隊(duì)能夠快速地從假設(shè)走到測(cè)試，最后推出成功的體驗(yàn)。比方說(shuō)，莎士比亞項(xiàng)目為快速的文案測(cè)試提供了一個(gè)端到端的解決方案，并且與 Netflix 集中式的實(shí)驗(yàn)平臺(tái)集成到一起。說(shuō)得更寬泛一點(diǎn)，我們一直在尋找可以從實(shí)驗(yàn)中受益的新領(lǐng)域，或者其他的方法或工具可以帶來(lái)新的或更快的學(xué)習(xí)的領(lǐng)域。

數(shù)據(jù)科學(xué)家不是數(shù)據(jù)的看門(mén)人，而是數(shù)據(jù)的向?qū)?/p>

對(duì)測(cè)試展開(kāi)辯論，以及謙遜的重要性

Netflix 有一套成熟的運(yùn)營(yíng)機(jī)制來(lái)對(duì)產(chǎn)品決策的辯論制訂以及社會(huì)化進(jìn)行管控。 Netflix 不會(huì)通過(guò)委員會(huì)或?qū)で蠊沧R(shí)來(lái)做出決定。取而代之的是，對(duì)于每一個(gè)重大決策，我們都有一位“見(jiàn)多識(shí)廣的隊(duì)長(zhǎng)”，在消化相關(guān)數(shù)據(jù)以及同事的意見(jiàn)（包括不同的觀點(diǎn)）后，此人將最終負(fù)責(zé)做出判斷。在可能的情況下，A/B 測(cè)試結(jié)果或因果推理研究是該決策過(guò)程的預(yù)期輸入。

事實(shí)上，不僅產(chǎn)品決策需要測(cè)試結(jié)果，創(chuàng)新和測(cè)試的投資領(lǐng)域決策、重大創(chuàng)新的測(cè)試計(jì)劃、重大測(cè)試的結(jié)果等，這些都要總結(jié)進(jìn)備忘錄，廣泛社會(huì)化，并積極討論。進(jìn)行相關(guān)辯論的論壇大家都可以訪問(wèn)，確保有人反饋關(guān)于測(cè)試設(shè)計(jì)和結(jié)果的不同觀點(diǎn)，并對(duì)決策做出權(quán)衡。進(jìn)入這些論壇的邀請(qǐng)對(duì)任何有興趣的人開(kāi)放，入場(chǎng)費(fèi)只需要看備忘錄。盡管公司高管也經(jīng)常光顧這些地方，但這里很顯然沒(méi)有等級(jí)之分，因?yàn)橐磺卸家繑?shù)據(jù)說(shuō)話。

Netflix 數(shù)據(jù)科學(xué)家是這些論壇的積極參與者以及有價(jià)值的參與者。數(shù)據(jù)科學(xué)家應(yīng)該為數(shù)據(jù)說(shuō)話，說(shuō)明從實(shí)驗(yàn)結(jié)果中可以得出以及不可以得出什么結(jié)論，不同的實(shí)驗(yàn)設(shè)計(jì)的優(yōu)缺點(diǎn)等等。盡管數(shù)據(jù)科學(xué)家不是產(chǎn)品決策的知情隊(duì)長(zhǎng)，但作為數(shù)據(jù)的解釋者，他們是關(guān)鍵產(chǎn)品決策的積極貢獻(xiàn)者。

通過(guò)實(shí)驗(yàn)幫助產(chǎn)品進(jìn)化可以是一種讓人心生謙卑的體驗(yàn)。在 Netflix這里，我們擁有開(kāi)發(fā)和演進(jìn) Netflix 服務(wù)所需的各個(gè)學(xué)科的專家（產(chǎn)品經(jīng)理、UI/UX 設(shè)計(jì)師、數(shù)據(jù)科學(xué)家、各種類型的工程師、推薦系統(tǒng)與流視頻優(yōu)化專家等等），他們會(huì)不斷提出關(guān)于如何改進(jìn) Netflix 的新假設(shè)。但在提出的想法當(dāng)中，只有一小部分最終能成為 A/B 測(cè)試的贏家。沒(méi)錯(cuò)：盡管我們擁有廣泛的專業(yè)知識(shí)，但會(huì)員通過(guò)自己在 A/B 測(cè)試中的行為讓我們知道，我們的大多數(shù)想法其實(shí)并沒(méi)有改善我們的服務(wù)。我們每年開(kāi)發(fā)和測(cè)試數(shù)百種的產(chǎn)品變體，但只有一小部分最終投入到生產(chǎn)并推廣給全球 2 億多的 Netflix 會(huì)員。

實(shí)驗(yàn)計(jì)劃的勝率很低既令人謙卑又令人振奮。當(dāng)公司的任何人都可以看到相關(guān)數(shù)據(jù)，知道哪些重大想法和投資并未受到效果時(shí)，你很難再挺起高傲的頭顱。但是，當(dāng)看到所有專家都看好的想法被 A/B 測(cè)試中的會(huì)員行為否決——并且看到對(duì)注冊(cè)流程的微小調(diào)整最終會(huì)帶來(lái)巨大收入時(shí)，還有比這更能證明通過(guò)實(shí)驗(yàn)進(jìn)行決策的價(jià)值嗎？

在Netflix這里，我們不會(huì)把未能帶來(lái)勝出體驗(yàn)的測(cè)試看作是“失敗”。當(dāng)我們的會(huì)員用他們的行為否決了新產(chǎn)品體驗(yàn)時(shí)，我們?nèi)匀粫?huì)了解很多關(guān)于他們的偏好、哪些對(duì)不同的會(huì)員群體有效（哪些無(wú)效?。?，以及哪些地方可能或者不可能存在創(chuàng)新機(jī)會(huì)的信息。將我們從特定跟創(chuàng)新領(lǐng)域（比方說(shuō)移動(dòng) UI體驗(yàn)）測(cè)試中獲得的經(jīng)驗(yàn)結(jié)合起來(lái)，可以幫助我們更全面地描繪讓會(huì)員產(chǎn)生共鳴和不產(chǎn)生共鳴的體驗(yàn)類型，從而得出新的假設(shè)、新的測(cè)試，并最終，為我們的會(huì)員帶來(lái)更快樂(lè)的體驗(yàn)。隨著我們的會(huì)員群體在全球范圍內(nèi)不斷擴(kuò)大，隨著消費(fèi)者偏好與期望的不斷演進(jìn)，我們也會(huì)重新審視當(dāng)粗測(cè)試時(shí)不成功的那些想法。有時(shí)候，來(lái)自原始分析的信號(hào)表明現(xiàn)在是這個(gè)想法的更好時(shí)機(jī)，或者將會(huì)為我們的部分新會(huì)員群體提供價(jià)值。

因?yàn)?Netflix 會(huì)測(cè)試所有的創(chuàng)意，而且因?yàn)榇蠖鄶?shù)的創(chuàng)意都不是贏家，所以我們的實(shí)驗(yàn)文化鼓勵(lì)創(chuàng)意的民主化。產(chǎn)品經(jīng)理總是渴望新想法，并樂(lè)于接受來(lái)自公司任何人的創(chuàng)新建議，無(wú)論對(duì)方資歷或?qū)I(yè)知識(shí)如何都從善如流。畢竟，在推廣到會(huì)員群體之前，我們會(huì)測(cè)試任何東西，就算是專家，成功率也很低！我們?cè)?Netflix 已經(jīng)反復(fù)看到這一點(diǎn)，即我們的工程師、數(shù)據(jù)科學(xué)家甚至高管提出的大大小小的產(chǎn)品建議可能也會(huì)帶來(lái)意想不到的勝利。

（左）成為贏家的想法很少。 （右）實(shí)驗(yàn)讓創(chuàng)意民主化。因?yàn)槲覀儠?huì)測(cè)試所有的想法，并且因?yàn)榇蠖鄶?shù)想法都不是勝利者，所以我們對(duì)來(lái)自公司各個(gè)角落的產(chǎn)品想法持開(kāi)放態(tài)度：任何人都可以舉手提出建議。

實(shí)驗(yàn)文化使得更多的聲音為創(chuàng)意做出貢獻(xiàn)，而更多的聲音則可以為決策提供信息。這是從每一位個(gè)從事產(chǎn)品工作的人獲取最佳想法，并確保推出的創(chuàng)新得到會(huì)員的審查和認(rèn)可的手段。

為我們的會(huì)員提供更好的產(chǎn)品，以及謙遜、重視想法和證據(jù)的內(nèi)部文化：實(shí)驗(yàn)對(duì) Netflix 來(lái)說(shuō)是一種雙贏的價(jià)值主張。

新興的研究領(lǐng)域

盡管 Netflix 幾十年來(lái)一直在進(jìn)行實(shí)驗(yàn)，但相對(duì)于我們想要學(xué)習(xí)的東西以及支持這些學(xué)習(xí)上的抱負(fù)所需建立的能力，我們只觸及了一點(diǎn)皮毛。在 Netflix 這里，關(guān)于實(shí)驗(yàn)與因果推理的挑戰(zhàn)和機(jī)遇是開(kāi)放的：探索和實(shí)現(xiàn)新的方法，讓我們能夠更快更好地學(xué)習(xí)；開(kāi)發(fā)支持研究的軟件解決方案；不斷建設(shè)我們的內(nèi)部實(shí)驗(yàn)平臺(tái)，從而更好地服務(wù)于不斷壯大的用戶社區(qū)以及不斷擴(kuò)大的實(shí)驗(yàn)規(guī)模與吞吐量。通過(guò)內(nèi)部活動(dòng)與教育計(jì)劃以及外部的貢獻(xiàn)，我們對(duì)發(fā)展壯大實(shí)驗(yàn)文化的關(guān)注是持續(xù)的。以下是我們關(guān)注的一些主題：

提高速度：超越固定時(shí)間范圍的實(shí)驗(yàn)。

本系列文章側(cè)重于固定時(shí)間范圍的測(cè)試：樣本量、分配給每個(gè)治療體驗(yàn)的流量比例，還有測(cè)試的持續(xù)時(shí)間，這些都是預(yù)先確定的。原則上，數(shù)據(jù)只有在測(cè)試結(jié)束的時(shí)候才檢查一次。這確保了多次查看數(shù)據(jù)不會(huì)增加誤報(bào)率（參見(jiàn)第 3 部分）。在實(shí)踐上，我們希望能夠盡早安排測(cè)試，或者在我們逐漸了解哪些治療成功，哪些不成功時(shí)能夠調(diào)整入端流量的分配方式，以維系本系列前面分所描述的那些統(tǒng)計(jì)屬性。為了實(shí)現(xiàn)這些好處，Netflix 正在投資于可隨時(shí)做出有效決策的連續(xù)實(shí)驗(yàn)，而不是等到固定時(shí)間的過(guò)去。這些方法已應(yīng)用到確保安全部署 Netflix 客戶端應(yīng)用上。我們還投資于實(shí)驗(yàn)設(shè)計(jì)的支撐，實(shí)現(xiàn)在整個(gè)測(cè)試過(guò)程中流量自適應(yīng)分配給有希望的治療手段。這兩項(xiàng)努力的目標(biāo)是相同的：那就是更快速地識(shí)別出有益于會(huì)員的體驗(yàn)。

擴(kuò)大對(duì)準(zhǔn)實(shí)驗(yàn)與因果推理的支持。

Netflix 已經(jīng)學(xué)到了很多東西，而且通過(guò)利用經(jīng)典的在線 A/B 測(cè)試或隨機(jī)對(duì)照試驗(yàn)（這也是本系列文章關(guān)注的重點(diǎn)），幾乎產(chǎn)品的每個(gè)方面都得到了顯著改善。但并不是每一個(gè)業(yè)務(wù)問(wèn)題都適合用 A/B 測(cè)試，因?yàn)橛行﹩?wèn)題沒(méi)法在個(gè)人層面上隨機(jī)化，或者存在溢出效應(yīng)等因素可能會(huì)打破有效因果推理的關(guān)鍵假設(shè)。在這些情況下，我們往往要靠對(duì)準(zhǔn)實(shí)驗(yàn)進(jìn)行嚴(yán)格評(píng)估。所謂的準(zhǔn)實(shí)驗(yàn)，是指單元不是通過(guò)隨機(jī)過(guò)程分配到實(shí)驗(yàn)組或控制組的。但“準(zhǔn)實(shí)驗(yàn)”這個(gè)詞本身涵蓋了廣泛的實(shí)驗(yàn)設(shè)計(jì)與方法論，這些與以 Netflix 數(shù)據(jù)科學(xué)社區(qū)為代表的無(wú)數(shù)學(xué)術(shù)背景之間存在著差異。那怎么才能跨不同領(lǐng)域去綜合最佳實(shí)踐，同時(shí)擴(kuò)展我們的方法，從而讓更多的同事能夠利用準(zhǔn)實(shí)驗(yàn)?zāi)兀?/p>

我們?cè)谶@一領(lǐng)域的早期成功得益于對(duì)跨業(yè)務(wù)垂直領(lǐng)域的知識(shí)分享、教育以及支撐工具的投資。由于準(zhǔn)實(shí)驗(yàn)用例跨越了 Netflix 的眾多領(lǐng)域，識(shí)別出常見(jiàn)模式一直是建立共享庫(kù)的強(qiáng)大驅(qū)動(dòng)力。通過(guò)這些共享的庫(kù)，科學(xué)家可以對(duì)準(zhǔn)實(shí)驗(yàn)做出評(píng)估。為了支撐規(guī)模的持續(xù)擴(kuò)大，我們構(gòu)建了內(nèi)部工具，將數(shù)據(jù)檢索、設(shè)計(jì)評(píng)估、分析以及可重生成的報(bào)告結(jié)合起來(lái)，旨在為我們的科學(xué)家提供支持。

我們預(yù)計(jì)，對(duì)準(zhǔn)實(shí)驗(yàn)研究、工具與教育方面的投資會(huì)隨著時(shí)間的推移而增長(zhǎng)。這件事情做好了，科學(xué)家及其跨職能的合作伙伴就能夠了解到更多的東西，從而為當(dāng)前和未來(lái)的 Netflix 會(huì)員帶來(lái)更多快樂(lè)。

實(shí)驗(yàn)平臺(tái)即產(chǎn)品。

我們把 Netflix 實(shí)驗(yàn)平臺(tái)看作是一個(gè)內(nèi)部產(chǎn)品，還配備了自己的產(chǎn)品經(jīng)理，并設(shè)計(jì)了創(chuàng)新的路線圖。我們的目標(biāo)是為配置、分配、監(jiān)控、報(bào)告、存儲(chǔ)和分析 A/B 測(cè)試提供一條鋪好的端到端的道路，把焦點(diǎn)放在為簡(jiǎn)單性和測(cè)試速度而優(yōu)化的實(shí)驗(yàn)用例上面。我們的目標(biāo)是讓實(shí)驗(yàn)成為產(chǎn)品生命周期當(dāng)中一個(gè)簡(jiǎn)單的，不可分割的一部分，讓工程師、數(shù)據(jù)科學(xué)家或產(chǎn)品經(jīng)理只需很少的努力即可創(chuàng)建、分析和執(zhí)行測(cè)試，并且只要測(cè)試所有者需要，在任何地方都可以采用自動(dòng)化。

但是，如果平臺(tái)的默認(rèn)路徑對(duì)特定用例不適用，實(shí)驗(yàn)者可以利用我們的大眾化貢獻(xiàn)模式，或人員重用平臺(tái)的各個(gè)部分來(lái)構(gòu)建自己的解決方案。隨著實(shí)驗(yàn)人員對(duì)測(cè)量方法、實(shí)驗(yàn)設(shè)計(jì)以及自動(dòng)化的前沿進(jìn)行創(chuàng)新，在實(shí)驗(yàn)平臺(tái)團(tuán)隊(duì)的通力合作下，這些創(chuàng)新將會(huì)被商品化，并提供給更廣泛的組織。

我們的實(shí)驗(yàn)平臺(tái)的產(chǎn)品開(kāi)發(fā)有以下三個(gè)核心指導(dǎo)原則：

一般要把測(cè)試的復(fù)雜性以及微妙之處（比方說(shuō)分配與方法論）從跑單個(gè)測(cè)試的過(guò)程中抽象出來(lái)，重點(diǎn)應(yīng)該放在對(duì)一系列用例或測(cè)試領(lǐng)域有意義的默認(rèn)值上。 測(cè)試執(zhí)行過(guò)程中對(duì)特定步驟的人工干預(yù)一般應(yīng)該是可選的，重點(diǎn)是測(cè)試所有者能夠把注意力集中在他們認(rèn)為可增加價(jià)值的地方，同時(shí)把其他領(lǐng)域留給自動(dòng)化處理。 設(shè)計(jì)、執(zhí)行、報(bào)告、決策與學(xué)習(xí)都是實(shí)驗(yàn)生命周期的不同階段，有著不同的需求與用戶，每個(gè)階段都受益于為每種用途而專門(mén)開(kāi)發(fā)的工具。

結(jié)論

Netflix 擁有濃厚的實(shí)驗(yàn)文化，我們通過(guò)A/B 測(cè)試，或科學(xué)方法的其他應(yīng)用獲得的結(jié)果，往往會(huì)為如何改進(jìn)產(chǎn)品以及給會(huì)員帶來(lái)更多樂(lè)趣的相關(guān)決策提供信息。為了支撐Netflix不斷增長(zhǎng)的會(huì)員，以及日益復(fù)雜的業(yè)務(wù)，我們當(dāng)前和未來(lái)的實(shí)驗(yàn)規(guī)模也會(huì)不斷擴(kuò)大，所以Netflix 在文化、人員、基礎(chǔ)設(shè)施以及內(nèi)部教育方面都進(jìn)行了投資，從而暴增 A/B 測(cè)試在全公司范圍內(nèi)都能得到廣泛使用。

我們會(huì)繼續(xù)發(fā)展我們的學(xué)習(xí)與實(shí)驗(yàn)文化，為全球的 Netflix 會(huì)員帶來(lái)更多樂(lè)趣。隨著我們的會(huì)員群和業(yè)務(wù)的不斷發(fā)展，實(shí)驗(yàn)與控制體驗(yàn)之間小一點(diǎn)的差異會(huì)變得非常重要。這對(duì)于會(huì)員子群體來(lái)說(shuō)也是如此：隨著會(huì)員規(guī)模的增長(zhǎng)，我們的服務(wù)可以變得更有針對(duì)性，希望能夠?yàn)榘凑盏乩韰^(qū)域、設(shè)備類型等定義的用戶群提供好的體驗(yàn)。隨著我們業(yè)務(wù)的發(fā)展壯大，我們正在尋找可以從實(shí)驗(yàn)受益的新領(lǐng)域，能進(jìn)行更多實(shí)驗(yàn)、學(xué)到更多東西，以及加快實(shí)驗(yàn)計(jì)劃的同時(shí)讓更多同事可以進(jìn)行實(shí)驗(yàn)的方法。

但最大的機(jī)會(huì)是這個(gè)：通過(guò)實(shí)驗(yàn)的良性循環(huán)，可以為我們的會(huì)員帶來(lái)更多的快樂(lè)。

譯者：boxi。