不只是營收！如何衡量產品團隊的成效（Impact）？

如何拿出數據證明自己所創造的成效（Impact）一直都是產品經理很大的壓力與責任，而各家網路公司衡量產品與工程團隊成效的方式與指標也都不同，公司制定的方式也常常成了員工們的遊戲規則，不僅大幅影響產品經理的決策與優先級排序，也會造成不同程度的壓力。

在經歷過了幾種不同的遊戲規則之後，也慢慢有感受到不同方法、不同指標的優缺點，而因為我個人還蠻喜歡目前公司使用的方法與指標選擇，所以想要藉由這篇分享給大家，當作多一個制定績效衡量框架的參考點。

📒 Disclaimer：我所在的公司是 C2C marketplace，所以此篇文章的舉例與框架或許會更適合 2C 的產品，2B 的部分我不是那麼確定。

Source

常見的績效衡量方式

1. 看賺了多少錢 $$$ 好像有不少公司就是簡單暴力的看營收！合理，非常合理，但萬一部分產品團隊的目標不是賺錢呢？（答：那他們就會比較不受重視，哭哭）

2. 季初 VS 季末指標比較（Before/After）或 OKR 達成率 最常見的 Reporting 的方法是直接比較同一季度的第一週和最後一週的指標數字，看看有沒有上升或下降，或者看 OKR 在期間結束的時候有沒有達成，這樣的方法很簡單直接，但可能會因為大環境、季節性（Seasonality）或者特定的大活動或節日而難以判讀這些增長是否來自這一季度做的努力，如果季末的時候剛好遇到事件，日活躍用戶直接往下掉，那麼通常這樣就會算沒有達標，很多變因不是產品團隊可以直接控制的。

3. 與去年同期作比較（YoY） 為了避免季節性影響，另一個常見的方法是使用 YoY（Year-over-year）growth，比較今年與去年同期指標數字，來看這一年是否有增長，這樣的做法也是正確的，不過這個數字呈現的一樣是公司整體的表現，比較無法進一步判讀這樣的增長是來自於產品改動、行銷活動、市場景氣還是其他策略的執行。

4. 疊加產品功能實驗與上線結果（Product release incrementality) 也有公司會使用產品實驗 A/B test 的結果來做報告，比如這個功能增長 3% 轉換、另個功能增加 5% 銷售等等。

雖然產品實驗可以清楚的了解每一個產品改動產生的影響，但其實用來做 Reporting 是不太準確的，因為實驗可能會有新奇效應（Novelty effect），用戶會因為好奇而和新功能有更多互動，或者因為功能採用率（adoption rate）還不夠高而並沒有呈現出長期的樣貌，又或者因為你的對照組因為沒有功能而吃虧，導致實驗組過度吃香（例如只有 100 個限量商品，實驗組的人有收到推播而對照組沒有，所以搶到商品的人大部分的人都是實驗組）而造成的 Over-estimation 等等。總之，只跑兩三週的產品實驗只能當作假說驗證為真/假的參考依據，並不能說這個實驗增加 5% GMV = 公司 GMV 真的會突然多 5%，這樣看通常都非常不準。

延伸閱讀💡 Novelty 與 Primacy Effect：好奇心殺死 A/B Test？

5. Holdout VS Champion Group 所以為了更準確的了解指標移動的原因，與觀察產品改動長期效果，我目前的公司採用了 Holdout VS Champion group 的方式來測量產品團隊的績效。

這是什麼方法呢？顧名思義，就是有一部分的用戶會被 “Holdout”，拿不到任何新的功能，而 “Champion Group“ 的人則會長期擁有這些新功能，藉由數個月到一年的長期比較和累積，來觀察各種關鍵指標的影響，有點像一個更長期間、數個實驗累加的大型 A/B test。

這個方法對於 Reporting 來說真的有不少好處：

• 優點一：能夠很即時的看到影響力，有狀況也容易歸因 如果 Champion Group 指標高於 Holdout Group，那基本上我們就可以確認產品改動是在往正向的方向走。而如果 Champion 原本高於 Holdout 很多，卻在某一週開始沒有顯著差異，代表這一陣子上線的功能可能把原本的效果抵銷，可以更即時又更容易地追朔可能的原因。
• 優點二：看的見產品策略在 Lagging metrics 上的成效，增加信心 有的時候單一功能改動可能會改變 Leading metrics（比如發現有更多人收藏商品了）但看不到 Lagging metrics 的成效（比如 Retention、GMV、Active user 等在實驗期間看不到），但如果一段時間持續執行特定產品策略，把所有改動都集中在同一個 Champion VS Holdout，那麼過了半年之後就有辦法去檢驗這些改動是否有影響留存率，是很好檢驗策略效果的工具。
• 優點三：權責分明，共存共榮（？） Holdout VS Champion 的差異基本上就是產品改動帶來的影響力，剩下的差異通常會是來自於行銷改動，兩大部門帶給用戶的影響就變得一清二楚。在產品團隊中也可以有數個 Holdout，例如做用戶增長的三個團隊使用一組 Holdout、做營收增長的兩個團隊使用一組 Holdout 等等，這樣如果用戶增長的 Champion Group 也連帶看到營收數字的上升，那麼就會是這三個團隊的功勞而不是營收增長團隊的功勞，而這三個團隊之間也會更容易合作、共享資源，因為他們的成敗是同一個數字。這一點是我很喜歡這個方式的原因，讓產品團隊的文化變得很 collaborative，大家會交換學習希望彼此更好。

這麼好的方法難道沒有缺點嗎？ 有！我們工程團隊痛恨 holdout groups 😂

• 缺點一：有更多事情要做了 首先 Data team 要先決定我們要有哪些 Holdout、要怎麼分配、要跑多久、什麼時候開始，設定上也要看 Logout/login user 如何分別處理，要讓 A Holdout group 看不到 B 功能、要讓 B Holdout group 看不到 C, D, F 功能的這些基礎 configuration 都要妥妥的設定好，每半年一年還要再換成新的 Holdout group（啊不然有些人永遠都用不到特定功能），然後全公司並須都認同並瞭解做這些額外工作的價值，總之就是真的多了很多事。
• 缺點二：要維護很多版本 因為有 Holdout groups，等於舊的功能一直都要保留住不能刪除，各種版本都要繼續運作，而且這一保留就是三個月半年以上，這件事讓工程團隊覺得很阿雜，實驗跑完都不能把舊的 code 清掉啦！！
• 缺點三：商業成效（Business impact）會打折扣 Holdout group 通常可能會佔個 10% 用戶數量，這些人看不見最新的功能，可能就因此沒有轉換或留存了，這些都是可能的商業損失，所以可能有些老闆不會願意做這件事情。

可能就是因為有這麼多缺點和麻煩，我沒有看到很多公司在使用這個方法，想想也合理，有些公司連 A/B test 的系統都沒有了，每次上線改動的成效都不清楚，更不可能在乎長期的成效。

但用這個方法的優點就是：You know what work, what doesn’t work, and understand whether your product direction and strategies truly performs. 透過這方法獲得的學習和信心是很難用錢衡量的，那麼老闆們，你願意讓出 10% 拿不到功能的用戶，來獲得這樣的資訊嗎？

💡 娜娜個人心得：所以我覺得願意選用這個方法的公司，應該通常都有非常重視數據、在乎長期策略發展的領導層，而產品也夠足夠成熟健康所以犧牲 10% 用戶也不至於崩潰。

成效衡量的指標選擇

說完了成效衡量的各種方式，也不免俗的要談一下指標。

大多數的公司會以營收、活躍用戶數等指標做為主要的 Reporting 指標，雖然是非常正確的選擇，但因為這些指標都是 Lagging Metrics（不知道什麼是 Lagging Metrics 的話這邊請），所以不容易觀察到變動，也很難立即就看出最近做的產品改動潛移默化正在產生的化學反應。

在這個點上我們公司也沒有太特別，轉換率營收還是要看的，但畢竟我們 Holdout group 都做了，我們還是會看一些 user outcome metrics，看看用戶行為有沒有朝我們期望的方向改動，比如用戶瀏覽的商品數量有沒有變多、賣家上架的商品數量有沒有變多，等等等等。之前在 從假敏捷到真實驗：公司打造產品實驗文化時的四個關鍵改變 這篇文章中我有分享一些 Outcome-focus 產品文化的細節，有興趣的話可以讀一下，這邊就不贅述。

以上談的營收和用戶指標都比較是來衡量產品團隊的 Outcome（成果）在成果以外其實還有很多其他面向：

例如，如果想要衡量產品團隊的生產力，可以衡量里程碑達成率或功能上線目標達成率（ship goals,etc）、實驗速率（experiment velocity）和勝率（win rate）等等；如果想要衡量產品的穩定性和品質，可以衡量故障的次數與時長（outage / incidents）或問題解決速度（issue resolution）等等，如果是要衡量推薦內容的品質，也有推薦模型準確率等各面向的指標。

Measurement 真是一門永遠念不完而且沒有正確答案的學問！！

這次只是想簡單分享這個我們公司用了幾年，我個人還蠻喜歡與適應的一種成效衡量方式，希望有提供一些新的想法和靈感，祝大家 Q1 季末表現都讚讚讚 🙌

謝謝你的閱讀！ 有幫助的話，歡迎拍手與分享👏🏻 產品三眼怪實驗室時不時會分享其他產品管理相關文章，追蹤起來！