旅行時間分析專案系列 — 11: 心得回顧

Image by Jordy Meow from Pixabay

[English / 中文] 如果你不是會員，你可以透過此鏈結瀏覽文章

這是本系列文章的尾聲，只單純記錄完成這個side project的感想(不會有任何資料分析或技術處理細節)。

為什麼我想做這個主題?

2022年我從軟體的專案、產品經理轉向電子商務的數據分析師後，很享受浸淫在知識與技術的精進中，無論哪種框架(預測、分類、自然語言任務等)、技術種類(傳統統計、機器學習到現在的大型語言模型)、領域面相(商品目錄、搜尋等)我都能高興的去吸收與實踐；大家都知道要把題目做深其實很吃自己挑選的素材跟主題，網路上最容易取得的資料往往都是相對薄又或覆蓋範圍不足，通常乾淨且便於操作者快速套用工具來完成專案，但能從中具體挖掘洞見又具備完整脈絡並不容易。

在進行商品銷售預測相關的議題時，我重新複習時間序列分析的技術，這個主題歷史悠久，進入門檻對比其他資料分析專案我覺得偏低一些，但深度不亞於自然語言相關的任務(這個真的是又多又雜)；隨著對技術摸索與探究更加深入，我想要有個應用情境強的題目來驗證技術跟手法，偶然發現 ”113年國道智慧交通管理創意競賽-時間預測分析與探討” 採納的資料與場景是個不錯的出發點，比起股價的預測更提起我的興趣；一度想要獨立參賽，但在深入摸索資料與題目的過程中發現沒有多人分工下去釐清跟劃分題目的邊界、發想與測試所有可行的方向是非常困難的，所以最後這變成了我自訂的一個side project。

超乎想像的時間耗費

發想、規劃、實作、基本成果產出、整理與分享，究竟花了我多少時間?

以下是根據我模糊的印象估計…… 畢竟在工作與獨立專案之間，我還保有不少的想要安逸的心 😛

發想與規劃花費大概0.5個月的時間，其中:

• 研究過往參賽主題與做法好確認還有什麼事情沒有被嘗試過

實作中來來回回打掉許多做法，大概佔了2.5~3.5個月左右:

• 資料爬蟲ETL這段分拆耗費近一個月，在發現資料量與結構超乎預期後殺掉重來
• EDA卡在有多少可以深入的地方沒有作足，何時該認定達到進入下個步驟的門檻
• 建模是另一個痛點，這麼多特徵可用該怎麼選擇與收斂，我手上沒有無限的機器可以運行，要花少時間在訓練上，至少嘗試過了三種完全不同的方法來找適合的門架模型組合
• 時間序列官方套件的基本語法該怎麼樣優化方便我下次執行，而不是一坨鬆散的程式碼(雖然現在看起來可能還是，但我不是資料工程師，不可能一夕之間將所有東西重構成穩健的模組)

基本成果產出其實是混合在實作中的:

• 當自己覺得好像可以交付時，從頭看一次邏輯，覺得又不行了，打掉產出反省步驟後再來一次
• 應該說是花了很長的時間說服自己，與自己談判與協商

整理與分享是最難的，當我完成了上述的東西時，很想拋開資料夾再也不打開筆記本，胡亂的將內容上傳github後收工；但最後還是開始整理，一邊嘆氣一邊寫，前前後後橫跨4個月左右:

• 整理與分享是最難的，這一兩年內工作的心得，自己看東西與筆記吸收很快，但分享是需要把它轉化成一個多數人應該也要能看懂的內容
• 整個過程如下，首先是翻開當初拿到的所有素材，想辦法塞進文章、調整，再來是打開筆記本，邊撰寫的同時，又刪刪改改了程式碼；每篇決定好要呈現的主題後再以中文撰寫，最後透過ChatGPT協助翻譯與潤飾，我在封面圖片的選擇上還遭遇了嚴重的選擇障礙(必須說有的挑選真的很糟，如果以後有新想法，高機率會換掉吧)

最後感謝

3個月左右盡力產出的成果我自己認為還不適合做為完整的應用提案，但能實踐學習上積累的技術跟概念就已經很令人振奮，4個月左右緩慢的推進與整理則幫助我重新釐清思緒，每個步驟都是在還原當初的決定，好反省在下一次我可以做到什麼方面的改進。

特別感謝這些資源:

• Medium上Marco Peixeiro(https://medium.com/@marcopeixeiro)跟Nikos Kafritsas(https://medium.com/@nikoskafritsas )分享的最新時間序列模型，他們的文章一定程度上讓我少讀了一些paper，更快掌握新資源。
• 以前大學跟碩士班的教授傳授的交通知識；這是我過去累積的domain，若非如此，我很確信如果主題是製造業相關的資料，從頭理解資料的背景到應用會慢上很多，但以這個主題來說不用。
• 工作上的獨力摸索以及與各個資料工作者討教所建立的程式撰寫技巧；爬蟲、物件導向等太多不同類型的python技巧都是過去所做過的每個專案所累積下來的，如何以及為何是我從分析慢慢進入工程的領域中發現一定要掌握的原則，很開心合作或是與我討論的人都不吝於分享實作上的小撇步。

上述都是促成我完成這個分析專案的動力，我希望透過分享出來，讓其他有興趣的人在學習上也可以參考。

最後，很感動你有耐心讀到這邊，如果你喜歡這系列的文章或是有興趣討論，歡迎留下Claps 👏 以及你的想法，可以Follow我的Medium或是Connect me on LinkedIn. 😀

註: 本文是先用中文撰寫，再由ChatGPT翻譯後經由個人調整，語意上可能稍有出入

Travel Time Analysis Project Series

• Overview and Introduction
• Data Crawling (資料爬蟲)
• Data Cleaning (資料清洗)
• Data Exploration (資料探索)
• Preliminary EDA (初步探索性數據分析)
• EDA for National Freeway №5 (國道五號的探索性數據分析)
• Time Series Analysis and Modeling (時間序列分析與建模)
• Baseline Modeling (基線模型建模)
• Univariate Modeling (單變量建模)
• Feature Selection (特徵篩選)
• Multivariate Modeling (多變量建模)
• Cross-Validation and Performance Analysis (交叉驗證與成果分析)
• Closing Remarks

如果你喜歡這篇文章，你可以：

• 👏 拍個幾下手就好，不需要按到 50 下
• ✉️ 在 Medium 上追蹤我，這會給我更多動力繼續創作
• 😜 歡迎加我 LinkedIn，一起交流想法