今晚聽了科技浪 podcast EP117，在講目前 AI 兩個發展的最新狀況：LLM 與自駕車。真是精彩，尤其是自駕車的部分又讓 AI 給我腦袋一記重捶！Podcast 連結：
https://open.spotify.com/episode/1OXqKy4hLBOLeVzF4vLmLW?si=c55b5f43734f46ac

LLM 部分主要在探討近期 Google Gemini 3 Pro 與 OpenAI GPT 5 之間如何神仙打架 – 用各種手段提升 LLM 的效能，如合成資料、特殊的強化學習、… 有一些技術沒有一些機器學習的底子，會聽得一頭霧水。但如果有些底子，聽起來就很精彩。

例如我之前在學影像分類機器學習，當時學到一項改善模型訓練的技術 data augmentation，就是拿原始資料作一些轉換，如旋轉、鏡射、位移、…，生出更多訓練資料。我學過此技巧，所以一聽到 LLM 的「合成資料」就知道跟影像分類 ML 是同一個目的。

以上所提到的各種手段一事，講者就清楚點出背後的原因 – LLM 的進步目前遇到瓶頸了！因為訓練的資料能用的都用得差不多了。什麼意思？這得慶幸我最近才學到的東西： Transformer LLM 有一個 scaling 定律，就是要得到更好的效能（lower training loss)，除了用更多參數，訓練資料也要更多。

然而目前訓練資料已不夠用了，所以才會開始去用合成資料。但目前合成資料也用得差不多了（Gemini 3 Pro 的呈度），所以接下來的一陣子 transformer LLM 進步應該會變緩，LLM 進入另一個「研究期」，大家在找有沒有下一個類似 transformer 的科技奇異點的新 LLM。Transformer LLM scaling law 已遇到瓶頸了，不再能單純 scaling 模型得到更好的效能。

該 podcast 另一精彩之處在於自駕車的發展現況，其實已比人類事故少 7 倍或少 91% 事故率！但卻仍不被大眾接受。講者拿「醫學實驗」的標準來映襯出人們對自駕車反對是很不理性的！因為醫學實驗只要某種藥效實驗超過，就會停止實驗，因為「不人道」！為什麼？因為明知某藥已有明顯效果，卻還拿人類繼續實驗那些無效的安慰劑，這種行為是藐視生命作人體實驗！總之講者認為自駕車對人類生命安全是有重大幫助，極需推廣。

講者在自駕車較安全這一點，我認同。但我認為目前自駕車不被廣泛接納，也許還有一原因 – 太震撼了！！！計程車、公車司機、貨車司機、…全失業！AI 再度所向無敵的摧毀人類產業！？

怎麼 AI 屢屢震撼我的三觀😅