昨天在逛 X.com 滑到一篇在講 oMLX 的地端 LLM 推論工具，說它速度比 LM Stuido 快。

我好奇就來試了一下，嚇一跳。原本用 Qwen3.5 35B A3B 8 bits + LM Studio 寫一支貪食蛇約 25 分鐘，改用 oMLX 只要 7 分鐘，快了 3 倍多！而且我還查到 oMLX 支援批次推論，有些情況下能提升 4 倍 token 速度。這讓我想嘗試一邊用 Roo Code 寫 code，一邊叫龍蝦幫我做事，實測真的可行。

oMLX 帶來的龍蝦速度提升非常有感。以前丟一句話給龍蝦，就要等 1-2 分鐘才有結果。現在丟一句話，快的話大概不到 10 秒就收到龍蝦回應。

這種倍速的提升，也打破我之前因為地端龍蝦跑太慢，而㧪殺了許多的嘗試，正所謂貧窮限制了想像。像我這 1、2 天就做了許多嘗試：抓新聞、問時事、找活動資訊、啟用第 2 支龍蝦，作 multi agents，一隻在寫 code 時，另一隻在抓新聞。

我還幫龍蝦申請了專用 Google 帳號（因為安全考量），測牠發信、新增行事曆、讀雲端硬碟。

以上這一些是我之前因龍蝦太慢，而不想去嘗試的，看來「貧窮（速度）」確實對一個人的想像力影響滿大的（我）！

不過目前的地端 LLM 也並非完美，oMLX 還是偶爾會遇到一些問題，例如 LLM 推論一半卡住不動、或推論完卻沒有產生資料。有待 oMLX 的開發者修正。

所以之前我聽人說：地端 AI 的殺手級應用還沒出來，但只要地端 AI 加速硬體進步，殺手級應用就會跟著出來。有其道理！