去年我成為小組主管。作為新手主管,我很多方面都經驗不足、力有未逮。感謝大家的包容和反饋。當主管和寫程式不同,很多問題是沒有標準答案的。有時候要讓大家開心、有時候要追求公平、有時候要做預期管理、有時候要處理人與人之間的磨擦、有時候要關注成員職涯發展、有時候要思考小組的目標、有時要救火。每當我困惑或迷惘的時候,我就會想起〈獵殺 U-571〉劇情中大副對船長說:「船長總是知道該做什麼。不論他是否真的知道。」新的一年要更努力才行。
在專業方面,我覺得我再次回到熟悉的分岔路口:要往上研究深度學習還是要回去研究傳統編譯器。2018 年末我選擇的路線是傳統編譯器。但是因為機緣巧合,最後轉行做 EdgeTPU 編譯器開發工作,剛好趕上 AI 大爆發。我從完全不懂 Convolution 運算子,到現在對 Quantization、Sharding 有一定理解。但是我總覺得我對 Learning Representation 還是一知半解、見樹不見林。雖然知道怎麼有效率地編譯 Attention Block,但是不清楚為什麼 LLM 的 Model Architecture 長這個樣子,亦不知道未來 Model Architecture 會如何演進。如果要更上一層樓,應該要對 Learning Representation 有更深刻的見解。另一方面,我也注意到:隨著更多公司切入加速器,傳統的編譯技術(向量化、Instruction Scheduling、Software Pipeline)會越來越重要。但是過去幾年這方面的技術我有些落下了。今年必須思考:下一個十年要何去何從?
最後想要提一下我的部落格。這個部落格荒廢一段時間了。今年計劃發表一些文章。寫作主題應該會更為廣泛。除了技術文章以外,我也想寫一些散文或者一些生活體悟。希望舊雨新知繼續支持。新的一年請大家多多指教。





