清大統研所碩二上心得 My Road

即使風雨讓我看不清哪條才是正確的道路，但我永遠看見一個近在咫尺但又遙不可及的目標，指引著我到達北極星

初稿：2024/12

Generate By GPT: 經歷風雨，破土而出

光光實習心得：

[embed]2024 美光資料科學(SMAI DS)暑期實習心得 工作總是充滿了酸甜苦辣，但實習總是能享受到甜美的那一面tylletsun.medium.com

序

在美光暑期實習的日子，不知不覺間迎來了最後一天。我提著沉重的行李，懷著對未來旅程的憧憬，將員工證交還給警衛，正式開啟碩二的第一學期。

這篇心得記錄的是我心境上的一段轉捩點 — — 從碩一下的低潮、在風雨中堅持前行的我，逐步回歸到找到初心，並擁有足夠勇氣繼續奔向未知的我。因此，這篇心得將以與以往不同的風格呈現，融入更多我的情感、接下來的規劃，以及對未來的期許。希望幾年後的我，能回憶起這段低潮，記得當時的堅韌與成長；同時，也期盼能為那些對未來感到迷惘的人，帶來一點小小的幫助。

文章規劃

• My Road
• 學期安排與項目
• Next Step
• 後記

My Road

隨著實習的結束，也意味著我必須開始為畢業後做打算。雖然美光是一家不錯的公司，壓力與待遇相較於許多公司都相對優渥，但決定一年後去哪裡對我來說有點太早，但現實還是逼著我要開始做出選擇。當然，除了找工作之外，我也開始請推薦人幫忙寫推薦信，正式踏上申請統計學博士（PhD）的旅程。至於申請的過程，也許以後有機會再分享（雖然目前我覺得自己可能全部都會被拒絕）。

至於為什麼會選擇這條PhD的「不歸路」，主要是因為在美光實習的過程中，我感受到工作內容和過去的經驗一樣，技術上似乎稍顯簡單，無法激發我挑戰世界的熱情。選擇PhD的最大原因，是希望能夠面對更困難的問題（當然，也伴隨發表論文和畢業的壓力）。此外，PhD的過程能讓我接觸到最前沿的知識，因此我只選擇申請世界上頂尖的少數幾所大學的博士項目。

在找工作方面，我的重點放在機器學習工程師（ML Engineer, MLE）相關職位，因為統計中特別喜歡Maximum Likelihood Estimate (MLE，BTW我覺得這個指標會讓模型失去部分的泛化能力) 。起初，我先找了幾家公司進行預面試，以找回面試的感覺。如我預期，問題大多圍繞在大型語言模型（LLM）、模型微調（fine-tune）等相關領域。面試過程中，我將自己的碩士論文與這些新技術進行結合來分享，反應看起來相當不錯。至於其他人格測試相關的問題，因為我通常會選擇3~4個與該工作較相關的專案來深入分享（其他放在附錄部分），問完通常已經超過一小時，因此幾乎沒被問到其他問題。整體而言，結果基本上如我預期。

一個小插曲是Google意外寄了一份 SWE 的面試邀請給我，並且順利進入最終面試階段，正在等待結果（真的上的話有點扯）。為此，我在一個月內刷了約400題LeetCode，從一開始連「2sum」都不會寫，到後來可以應用一些稀奇古怪的資料結構。無論結果如何，這都是一次有趣的經歷 — — 面對一個與我技能重疊不大的工作，但同時也大幅提升了我的程式能力。

相較於申請PhD，找工作的壓力相對較小，因為手上已選擇（至少是許多統計所畢業生會嚮往的職位），而且主管看起來滿聰明的，所以沒有找其他工作的迫切需求。

至於找工作的心得，我應該不會特別撰寫（如果是同學或熟人，有需要的可以直接問我）。被問到的問題大多非常技術性，例如強化學習與人類反饋（RLHF）、混合專家模型（MOE）、大型語言模型架構（LLM arch）、自然語言處理（NLP）、計算機視覺（CV）、實驗設計、資料架構等各種技術細節。

學期安排與項目

我原本以為這會是我在碩士班最輕鬆的一學期，但隨著時間推移，各種突發事件逐漸填滿了我的生活。如突如其來的SWE面試，讓我整整一個月從早到晚都在刷LeetCode。

課表

• 進階語音處理 (3)
• 實驗設計專題 (2)
• 深度學習 (3)
• 統計實習 (2)
• 專題演講 (1)
• 線性模型（助教）

相較於前幾個學期，這學期的學分數(11)明顯減少。除了語音處理這項技術是我從零開始學習外，其他科目都有一些基礎，所以相對輕鬆。

進階語音處理

這門課讓我對序列資料與語音處理有了很多新的認識。雖然上課的步調主要是講解概念，讓我覺得好像沒學到太多細節，但卻提供了一個很好的發展脈絡，幫助我理解語音技術的歷史與進展。至於作業，要感謝carry我的隊友，讓我能順利完成課程。特別是在訓練語音模型時，很多需要比較生成聲音的好壞，而我聽起來卻都一樣，實在難以判斷。

實驗設計專題

這門課介紹了一些實驗設計中的「新」領域，由一位國外的訪問學者授課。儘管我之前從未接觸過實驗設計，但還是選修了這門課，覺得這樣的機會難得。雖然部分內容對我來說有些艱澀，但課堂上接觸到了許多新穎的想法。最後非常感謝這位老師，為我申請PhD寫下了最後一封推薦信。

深度學習

這門課是交大電信所的深度學習課程。我之前自學過相關內容，選這門課純粹是為了畢業。簡單來說，這是一門「水課」 — — 每次作業平均花不到2小時就能完成（不含訓練時間）。

但修這門課也給我一個很好的機會去把深度學習好好學過一次，畢竟我過去也沒修過，全部都是邊做邊學，所以這學期好好的把線上課程補齊、也惡補了一下NLP比較新的進展。

但沒意外的話這會是在我碩士生涯最後一次碰深度相關東西，是時候轉向去其他地方發展了，我學的東西和專案已經有辦法讓我找到工作，但我不認為他們能帶我到工作後的下一段目標。

統計實習

這原本是下學期的課程，但被老師調到這學期進行。這門課的專案主要是幫某物理系學生寫畢業論文，或者將實務專案理論化。至於感想，主要就是觀點差太多，修起來有點痛苦。但觀點這東西本身就跟大家的生活背景、經歷有關，很多對不上的講再多有對不上，與其反抗，不如眼睛閉起來走過去。

專題演講

這門課的要求是點名並撰寫心得。由於我對成績並不特別在意，所以只選聽了感興趣的演講，其他的就隨意了。但不得不說這學期講者多元不少，且有幾位是有名的學者，不知道是不是清大怕被台大幹掉才找他們來的！

線性模型（助教）

我原本想找一份比較輕鬆的助教工作，結果卻被分配到這門課。助教的主要工作是改作業與跟課。這已經是我第三次聽線性模型，但每次聽教的東西幾乎都不一樣…

研究

這學期我主要進行了三個研究項目，現在大多都進入收尾階段。

1. 碩論: 碩論部分只有在學期初與老師進行過一次討論，之後由於忙碌（或者是因為研究過程不太有趣，導致優先度不斷被降低），幾乎沒再處理。希望寒假能抽出時間完成模擬，也很感謝老師之後這篇出去後會讓我掛個名。
2. 圍棋影像處理和分析專案: 這個專案是從上學期延續過來的，並在10月順利結案。我將上學期的模型進行了加速改良，原本需要運行數百個模型才能獲得結果，現在我將所有模型訓練到一個模型上，實現了數百倍的加速。有趣的是，這個方法一開始並不被老闆們看好，甚至覺得這是「荒謬的想法」。但在訓練到第三天時，模型性能突然提升，不僅效果超越原本的方法，且完全不需要標記數據。這樣的成果遠超預期，聽說這個專案可能會有兩篇以上的論文，且我是第一作者（但論文的撰寫由其他人負責，具體情況我不太清楚）。
3. Order of Addition Experiment: 這項研究是從實驗設計專題課中衍生出來的，主要是有請老師幫我寫推薦信，於是從「軍火庫」拿了一個小玩具出來。研究的主要是將老師原本的方法論結合一些改良的演算法，在效果上達到提升，並提供理論證明。我花了一個晚上撰寫模擬程式碼，另一個晚上完成論文與證明。可能不久後會有產出或發表的成果。進行這個項目的另一個原因，是因為在美光實習期間，有同事猜我都在做資工的東西，沒在搞統計，竟然有這樣的想法，那我就搞一個跟統計相關的出來。因此，我希望透過這個研究來展現我在統計領域的實力，補足履歷上的不足。（其實是統計相關講起來都不怎麼炫砲，所以被我砍掉了…)

課外活動

這學期課外的活動算是滿豐富的，如剛開學就參加了黑客松，重新體驗年輕時數小時全力衝刺的熱情。XChange data pipeline讓我回顧了過去使用的一些技術和GCP的相關使用，以及資料庫架構的設計與規劃。突如其來的SWE面試讓我回到當年考指考幾個月的寒窗苦讀，從開眼全力拚到睡覺，也在短時間內提升我的程式水平和熟悉一些語法。準備工作面試也花了不少時間，從最初版的專案投影片經過幾次面試幾個改版，也重新複習了再過去幾個學期學到的技術。另外，還有博士班的申請也成為我生活中的一部分，從SOP, PS 填一些雜七雜八的身家資料到找推薦人都是一些體驗。光要選誰幫我寫推薦信就想了一陣子，因為這決定我希望讓審查員對我有什麼想像。

當然，因為這學期課程比較沒這麼重，終於有空看一些額外的課外讀物和複習過去學的一些知識。

寫到這裡，原來這學期做了這麼多事，但竟然不覺得累，可能是我看見了一個近在咫尺但又遙不可及的目標。也感謝過去的我走過了低潮，讓今天能結果開花。

Next Step

寒假期間，可能會多看些書，也把目前手上的其他面試跑完，出去走走晃晃吧，因為這可能是我人生中最後一個長假，留在學校有點太過奢侈。

下學期的規劃，如前面所講，不會再有深度學習這種硬訓練一波就能造出結果的東西安排在課表上，取而代之的是會有更多的理論和歷史課（像機器學習理論、無母數統計、實驗設計、高等機率之類的）以及一些與統計無關的軟性課程。我認為這些東西更有助於幫我推向下一段旅程，它們雖然是歷史，但總是會以意想不到的方式再次重演。

除了以上，可能還會考慮嘗試些不同的事情，例如做志工。畢竟在學生生涯的最後一學期，做些不一樣的事或許別有意義。

後記

這學期感覺有點太過快速，幾乎每天都在忙碌中度過。重新回顧在寫碩一上心得時寫下的三個願望

最後是2024年的三個新希望，希望都能實現（雖然第3個願望每年都有許，但每年都因為太忙沒實現）

明確自己下段旅程的目標及規劃

可以更加注意自己的身體健康，減少壓抑自己的情緒

多花一點時間在所上，多認識一點人（希望不要像大學一樣到大四叫得出名字的不超過10個），至少在路上遇到知道他是統計所的學生。

看起來是都有實現，實在不可思議。

因此最後是2025年的三個新目標，希望都能達成

希望我的人生可以有一些不同的火花（雖然我也不知道什麼叫火花，但希望能讓過去20多年的人生添上一些不同的顏色。）

至少看十五本課外讀物

把過去遺忘的東西撿回來，是時候該總結我的求學旅程了