《AI 工具與 AB Testing》第七屆曼陀號計畫學習筆記 Part. 4

第三次月會邀請了兩位先進來分享 Data AI 工具以及與數據分析息息相關的 AB Testing。

系列文章的上篇請見此：

[embed]《數據定義及紀錄工程》第七屆曼陀號計畫學習筆記 Part. 3 僅僅是「單元是否完成」就可以有不同的定義，就會有不同紀錄方式，可見資料工作者們必須拿出自己的專業相互溝通，DA 清楚表達自己想要追蹤的數值是什麼，DE 提供可行性方法，才能夠收集到「對」的數據。medium.com

本篇紀錄 2025.08.16 第三次 Data 組月會心得，並非全部按照月會內容，其中包含我自己的整理與轉化，若有不正確之處敬請指教。

接觸 Data AI 工具

首先，講者 Shiuan 帶來了兩個新的 AI 工具現場帶領學員實作練習，分別為 manus, loveable 即便同樣是屬於 Data 相關的 AI 工具，兩者還是一些使用情境和功能上的差異，例如 manus 可以通過上傳資料集快速分析出整體的數據狀態，而 loveable 則是能夠輕易通過 prompt 產出視覺化的 dashboard。

完全通過 AI 產出的畫面（我覺得最華麗的儀表板，但水手分享他只有貼了範例 prompt）

大家除了交換著看 AI 產出的結果畫面之外，也針對所下的 prompt 進行討論，即便是相同籠統的 prompt 也可能產出精緻或是精簡的儀錶板。

反思：有了 AI 工具，資料分析就一勞永逸嗎？

在簡易的實作時我們還是有發現，在視覺化的過程中，AI 仍會出現幻覺，偽造資料或是自行定義沒有在指令中的分類等。做為資料工作者，確保資料的正確性還是我們應盡的責任，培養對資料的敏銳度也才能在這些 AI 工具產出異常時，第一時間發現。

承接上述，這些新興的工具有些尚未有企業版本（即使有也還是應該）考量資料安全性，能夠實際導入企業內部，幫上現在學員們的日常工作，使分析變得更輕鬆還有很長的一段路要走，現階段可能就只能停留在自己探索或是 side project 的程度。

講者也鼓勵在場的 DA 學員們，在做完 BAU 多讓自己再去碰一些別的資料，相較於等待 PM 提出分析需求，自己主動找議題分析跟 PM 提案才能持續進步。

AB testing

下一位講者是 Kai 帶大家認識 AB Testing。

作為開頭，Kai 帶來了三個知名的 AB Testing 案例：歐巴馬競選募資網站及 duolingo app 連勝動畫及電力公司社區住戶用電狀況。

三個 AB Testing 案例

並一步一步解說 AB Testing 的核心要素：隨機分組 ＋ 假說檢定

然後分成幾個階段，每階段說明後就讓小組有 5–10 分鐘的案例討論時間（按：必須要以我前課程體驗設計師的角度說，我覺得這段的流程規劃得很好，唯一可惜就是當天留給講者的時間不多）

簡單來說流程就是：先選定目標用戶 → 隨機分組 → 依照組別給予對應的版本 → 統計檢定是否有顯著差異

DIY 時間

講者準備了兩個圍繞在 Thread 的議題上，讓大家思考如何規劃一個 AB Testing 的假說和指標（Thread 在台灣的興起真的是讓使用者研究有了好多新的議題可以探討 ˊ w ˋ）

議題為：調整 Thread 發文按鈕樣式、新增推薦追蹤區塊

練習步驟如下

1. 建立實驗假說 利用句子建立假說架構： 對於[使用者族群]，如果有[改變]，就會到來[效應]，這是因為[理由]，最終影響到[觀測指標]

2. 設計實驗指標 指標又分成三種，並且分別應有以下特性： A. 目標指標

• 簡單
• 穩定

B. 驅動指標

• 相關的
• 可行動的
• 敏感的
• 不意操控的

C. 護欄指標

• 相對於驅動指標，用來監控是否帶來負面影響的指標

這次我的組別拿到的題目是：調整 Thread 發文按鈕樣式

很幸運的我們這組的航海士有豐富的 AB Testing 經驗，他引導我們思考，在交換意見之下，我們快速取得共識：

對於剛從 IG 來到 Thread 的用戶，如果調整發文按鈕就會提升發文行為，因為 ICON 較明顯且符合用戶習慣，最終影響發文率。

有了這個假設我們定義指標：

目標：發文率 驅動：按鈕點擊率 護欄：發文編輯頁跳出率

除了這幾個指標名詞，航海士也引導進一步思考這些比例的分子分母是什麼，也會連帶影響數值的結果（讓我想到了第二次月會的完課率練習），例如跳出率的分母可以是用戶數量或工作階段的數量。

完成上兩步後，就可以開始規劃細節

3. 計算樣本數
4. 隨機分組
5. 執行實驗
6. 分析與決策

這些因為時間關係就沒有在現場練習，就待有興趣的朋友延伸研究啦！

反思：不是 AB Testing 就不能這麼思考嗎？

雖然現場並非每個人的職務、組織有導入 AB Testing，不過有些概念是相通的，例如要做一個功能、提案一項變更時，你要能清晰的說明你的想法和帶來的影響，這時上述的假說框架就可以派上用場。指標更不用說，明確定義指標才能幫助檢核成效，也能讓你以終為始，不偏離軌道（尤其是當你有想法，或是想要做更好時，很容易會想要什麼都提升什麼都優化）。

我想到過去工作在經營學員社群時，就曾有過很多想要做的事，但沒有時間也沒有人力能全部都做，這時，就和主管一起回顧的目標，選擇最能達成目標的方案，才避免了一次執行過多沒有直接與目標相關的企劃。

以上就是第三次月會的筆記，這次月會用很明確的兩個主題來區分，拓展學員的視野廣度，提升職涯未來的發展性。