最近又在研究在本地端使用開源模型 (Qwen3.5 35B A3B) 測試龍蝦 （OpenClaw） 的能力。

首先我們知道龍蝦的能力主要決定於它的蝦腦 – LLM，若不了解 LLM 本身的特性而想做出超出它的能力，就會事與願違。LLM 其中一重要特性就是「參數量」，它一部分可類比「訓練所學習的知識量」（最近的研究還顯示可類比人類「情緒」）。

我發現地端 35B 的知識量有些不符我原先的期待，比如我問龍蝦「某飯店附近有什麼好玩的？」，它卻回我另一縣市的某地有什麼東西，幻覺嚴重😅 後來我叫龍蝦上網搜尋，得到的資訊就正確許多。這些實驗才讓我想起：不要寄望僅 35B 的模型就能包含了世界的大部分資訊！

以現今的 AI 技術來講，LLM 的強項在於：它對學習過的知識處理的比人又快又好。但這也是它的弱項：它對未學習過的知識，特別是未來的新知，容易出現幻覺。我認為除非 AI 技術突破，能用公式化的推理、預測未來的新知，就可能將未來的海量知識壓縮成只剩少量參數的「公式」。或許到那時僅 35B 的參數就能解答世界絕大多數的知識也不一定！？（做個白日夢）😅

回到現在，以我的經驗，35B 的知識量，不足以處理一般人日常生活的問題。但可透過 RAG 的技術，例如搜尋網路知識，補足知識不足的問題。所以最近許多人開始認識到，在地端要跑一個「知識」量足夠、大參數量 LLM 是困難的（受限硬體效能）。退而求其次的作法是跑一個少參數，但能做對事、「方法」正確的 LLM。

總結來說，現今雲端能跑大參數 LLM 是「知識與方法」皆強大。而地端適合跑小參數 LLM，「方法」的強大會比「知識」重要，也因此它的用法會更重於「用方法取得額外新知」或「用方法正確處理任務（如工作流）」，有別於使用大參數 LLM 那種較無腦的用法。

(若未來硬體科技突破，地端也適合跑大參數 LLM，那以上問題就不存在😆)