過去學工程的人,多少要畫方塊圖 (block diagram) 或流程圖 (flow chart),以下簡稱「圖」。坦白來說我不喜歡畫圖,主要原因:懶😆 但我不否定圖的重要性。
在幾個月前,我跟我的一位老師在閒聊現今的 LLM 畫的圖還不夠好,往往畫得跟提示詞不一致,重畫幾次還是不對,還不如自己手動畫🥲
當時我猜測是 AI 還沒有足夠的「訓練」畫方塊/流程圖。其實當時我講這種話時,心理是有一點不踏實的。因為怎麼「訓練」才能畫好?我不知道。如果不知道怎麼訓練,怎麼能保證 AI 能畫好圖呢!?😅
直到最近看到有人用 Google Nano Banana 生成建築設計圖,才把我當初講的話圓了😆 該設計圖不是簡單的點陣圖,而是可編輯的!能作物件編輯、轉動視角、…。
不過對於我近期專門在研究「地端 AI 應用」,我可不滿足於這些雲端服務。我一直很好奇 Nano Banana 是怎麼辦到的。
直到今天,我意外看到其實已有開源專案在做這方面的「LLM 生成方塊圖/流程圖」,例如這一個:
https://github.com/JerryKwan/drawio-live-editor.git
我研究了一下原始碼,才領悟,知道怎麼辦到的。首先概念上,要將方塊圖/流程圖建立「元件」,如圓形、正方形、箭頭接線、… 接著將這些元件「編碼」,例如用 XML 表示。就可以用 XML 訓練 LLM,LLM 就能生成「圖」 (XML)!
好了,魔術已揭秘,不值錢了!?😆 只差一些重複性的工作(?) – 收集資料、打標籤、訓練 LLM,然後生成!