Minecraft AI 玩伴:用 Mindcraft 串接 Ollama 本機模型,免付 API 費用

摘要

Mindcraft 能讓 AI 模型控制一個 Minecraft 玩家,會聊天,也會跟著我們走、幫忙砍樹。只要串接用 Ollama 在自己電腦執行的小模型,就不用付 API 費用,而且和遊戲共用同一張顯示卡時,FPS 只少一成左右。

文章目錄

Mindcraft 是一個開源程式,能讓 AI 模型控制一個 Minecraft 玩家。這個玩家會在聊天欄回話,聽到「Follow me」就跟著我們走,聽到「Collect 3 oak logs」就去砍樹。Mindcraft 預設接的是雲端模型,每次對話都要付 API 費用。如果改用 Ollama 這個在自己電腦上執行模型的工具,就不用付費,只是模型和遊戲要共用同一張顯示卡,選錯模型時遊戲會變卡。

我們用 Mindcraft 社群為它微調的 Andy-4 micro 小模型,在 8 GB 顯示卡上同時執行遊戲與模型,FPS 只少一成左右,叫機器人跟著走、砍 3 塊原木也大多能完成。

本文的測試環境是 Windows 11、RTX 3070 8 GB 顯示卡與 32 GB 記憶體,遊戲、伺服器、Mindcraft 與模型都在同一台電腦上。Mindcraft 目前最多支援到 Minecraft 1.21.11,因此遊戲與伺服器都用 1.21.11。和機器人說話時要用英文,原因在實測紀錄。

Mindcraft 的運作方式

Mindcraft 不是裝進遊戲的模組,而是另一個連上伺服器的玩家。我們在聊天欄說話時,Mindcraft 會把對話送給 Ollama 裡的模型,模型會回一句話,有時後面接著一個指令,例如 !collectBlocks("oak_log", 3),Mindcraft 再讓機器人照著做:

四個程式的關係:我們的遊戲連到只接受本機連線的 Paper 伺服器,Mindcraft 以玩家 Andy 的身分登入同一台伺服器,並把聊天內容送給 Ollama 的 Andy-4 micro 模型,收到回話與指令

Mindcraft 啟動時要連到伺服器與 Ollama,因此伺服器與 Ollama 都要先啟動。

準備 1.21.11 的 Paper 伺服器

Paper 是和原版遊戲相容的伺服器軟體,它的版本頁保留了 1.21.11 的檔案,官方的伺服器下載頁則只提供最新版,因此本文用 Paper 架設伺服器。下載最上面的 STABLE 版本,放進一個新的空資料夾,我們用的是 build 132。Paper 1.21.11 需要 Java 21 以上,Java 原版伺服器架設裝的 Java 25 也能使用。在資料夾裡開啟終端機,用下載的檔名啟動伺服器,同意 EULA 的方式和那篇相同:

1java -Xms2G -Xmx2G -jar paper-1.21.11-132.jar --nogui

第一次啟動後,伺服器會產生 server.properties。先輸入 stop 關閉伺服器,再修改這兩行:

1online-mode=false
2server-ip=127.0.0.1

online-mode=false 會關閉正版驗證,讓機器人的離線帳號能登入。關閉驗證後,任何人都能用任何名字登入,因此同時設定 server-ip=127.0.0.1,讓伺服器只接受這台電腦的連線,朋友與網路上的其他人都無法連線。如果我們把自己設成管理員,出生點附近 16 格內的方塊只有管理員能破壞,機器人就無法在那裡砍樹。這時把 spawn-protection 改成 0,詳細說明在 server.properties 設定。

存檔後再次啟動伺服器,看到 Done 時,伺服器就啟動完成了。

安裝 Ollama 並下載模型

Ollama 負責在自己的電腦執行模型。我們從 Ollama 的 GitHub Releases 下載免安裝的 ollama-windows-amd64.zip,解壓縮到 E:\ollama,模型也放在同一個資料夾,就不會佔用 C 槽。沒有 E 槽時,把下面指令裡的路徑換成自己的資料夾。在 PowerShell 裡輸入下面兩行啟動 Ollama,這個視窗在使用期間不要關閉,之後每次啟動也用這兩行,Ollama 才會找到 E 槽的模型:

1$env:OLLAMA_MODELS = "E:\ollama\models"
2E:\ollama\ollama.exe serve

接著另外開一個 PowerShell 視窗,下載 Mindcraft 要用的兩個模型:

1E:\ollama\ollama.exe pull sweaterdog/andy-4:micro-q8_0
2E:\ollama\ollama.exe pull embeddinggemma

andy-4:micro-q8_0 負責聊天與決定指令。Andy-4 micro 只有 1.5B 參數,檔案大小為 1.9 GB。embeddinggemma 的檔案只有約 600 MB,Mindcraft 會用它從範例對話裡挑出和目前情況相近的幾則,放進送給模型的 Prompt。兩個模型都下載完成後,執行 E:\ollama\ollama.exe list 就會列出它們。

安裝 Node.js 與 Mindcraft

Mindcraft 是用 JavaScript 寫的程式,要靠 Node.js 執行,安裝 Node.js 時也會一併裝好下載套件用的 npm 指令。Node.js 官網目前預設的 LTS 是 26,我們用 26 實測時,Mindcraft 的 gl 套件找不到對應的預先編譯檔,改成從原始碼編譯時又找不到 Visual Studio,安裝就停在 gyp ERR! find VS。Mindcraft 的 README 也提醒 24 以上的版本可能無法安裝,因此要到 Node.js 的下載頁把版本改選 v22 LTS 再安裝。安裝完成後,重新開啟終端機,node 與 npm 指令才會生效。

接著到 Mindcraft 的 GitHub 頁面按「Code」再按「Download ZIP」,解壓縮後進到有 package.json 的 mindcraft-develop 資料夾,在這裡開啟終端機,安裝 Mindcraft 需要的套件:

1npm install

在我們的電腦上,安裝約花 4 分鐘,共 550 個套件。結尾出現的 vulnerabilities 警告,以及 Failed to apply patch for package mineflayer 這行 patch-package 錯誤,都不影響執行,本文的實測就是在這個狀態下完成的。如果 PowerShell 顯示「已停用指令碼執行」,處理方式在 PowerShell 執行原則。如果安裝停在 gyp ERR! find VS,代表裝到的 Node.js 版本太新,移除後改裝 v22 LTS,再重新執行 npm install。

設定機器人

Mindcraft 預設的 port 不是伺服器使用的 25565,預設的模型也是雲端模型,因此要改兩個地方。打開資料夾裡的 settings.js,把 port 改成 25565,再把 profiles 裡的 "./andy.json" 改為本機模型的設定檔:

1"port": 25565,
1"profiles": [
2    "./profiles/andy-4.json",
3],

profiles/andy-4.json 已經設定使用 Ollama 的 andy-4:micro-q8_0。機器人在遊戲裡的名字也寫在這個檔案,預設是 andy_4,我們把 "name" 改成 "Andy"。

settings.js 裡的 allow_insecure_coding 預設是 false,維持關閉即可,開啟後模型能在電腦上執行自己寫的程式。

確認伺服器與 Ollama 都已經啟動後,回到 Mindcraft 的資料夾啟動 Mindcraft:

1node main.js

終端機出現 Andy spawned. 時,機器人就進到伺服器了,接著會在聊天欄打招呼,內容由模型產生,例如「Hello world, I’m Andy.」。要讓機器人離開時,在這個終端機按 Ctrl+C。關閉 Mindcraft 後,Ollama 在 5 分鐘沒有收到請求時會卸載模型,顯示卡記憶體就會釋放出來。

在遊戲裡指揮機器人

用官方啟動器或 Prism Launcher 新增一個 1.21.11 的安裝設定,進入「多人遊戲」,在「直接連線」輸入 127.0.0.1。連上伺服器後,按 T 用英文和機器人說話:

聊天欄裡我們問 Andy 今天要不要幫忙,Andy 先抱怨只想看報紙,接著自己用 searchForBlock 與 collectBlocks 去找橡木

Andy-4 micro 的回話常常帶著脾氣,有時也會自己找事做。我們打招呼時,它都在 1 秒內回答。要它做事時,我們說的話與結果如下,每句各試 3 次:

我們說的話 機器人執行的指令 結果
Follow me !followPlayer 3 次都跟上,我們走了約 30 格後停在 2~5 格內
Collect 3 oak logs for me !collectBlocks("oak_log", 3) 3 次都先把方塊名稱寫成不存在的 log,之後自己改正,其中 2 次在 30 秒內拿到 3 塊以上的原木

說「Follow me」後,機器人會一路跟在我們後面:

說 Follow me 之後,Andy 回答 Here I am 並執行 followPlayer,正朝我們走過來

我們再說一次「Collect 3 more oak logs」,機器人會走到最近的橡樹砍下原木,並拿在手上:

Andy 手拿砍下的原木,聊天欄顯示 Got all three! Ready to craft. 與它自己接著下的 craftRecipe 指令

砍完 3 塊原木後,它接著自己想做一把鐵鎬。要讓它停下時,在聊天欄直接輸入 !stop,Mindcraft 會立刻執行這個指令,不經過模型。

常見問題

  • 用中文說話時,Andy-4 micro 聽得懂中文指令,但會用英文回答。
  • 機器人跟隨時,如果我們站著不動 20 秒,機器人會以為自己卡住,說「I’m stuck!」並停止跟隨。我們繼續走動時就不會發生,機器人停下後,需要時再說一次「Follow me」。
  • 機器人砍樹砍到一半時,如果樹的下半段被砍掉、只剩懸空的原木,機器人會因為搆不到而停在原地說「I’m stuck!」。這時我們自己把懸空的原木砍掉,再叫它砍樹。
  • 在伺服器輸入 /clear Andy 清空機器人的背包後,機器人記得的背包內容會和伺服器不同,之後叫它砍樹就會一直卡住。這時在 Mindcraft 的終端機按 Ctrl+C,再重新執行 node main.js 就會恢復。

實測紀錄

我們在同一個位置用 F3 讀取 FPS,每種情況讀取 8 次。遊戲版本為 1.21.11,視窗大小為 1856×1001、視距 12,沒有鎖定幀率:

情況 FPS 顯示卡記憶體
只開遊戲 1,140~1,170 1.5 GB
機器人上線,閒著 1,050~1,080 4.4 GB
機器人正在砍樹 1,020~1,075 4.4 GB
機器人回話的那一刻 約 920 4.4 GB

機器人上線後 FPS 少了約一成。回話時下降得比較多,但模型產生一句話只要約 0.5 秒,FPS 只在這一下降到約 920。8 GB 的顯示卡記憶體還剩約 3.6 GB。

除了 Andy-4 micro,我們也測了 Mindcraft 社群釋出的 Andy-4.2 Air(4B,Q4_K_M,3.4 GB)。兩個模型在同一個世界裡,各做三件事 3 次,表中的數字是成功次數。這組比較用中文下指令,兩個模型都用英文回答,砍原木的成功條件和前面相同,都是 30 秒內拿到 3 塊:

任務 Andy-4 micro Andy-4.2 Air
回話 3/3,回答為英文 3/3,回答為英文
跟著我們走 3/3 3/3
砍 3 塊原木 3/3 1/3,一次把方塊名稱寫成不存在的 log 而沒有改正,一次 30 秒內沒有回應
開著遊戲時的顯示卡記憶體 4.4 GB 6.4 GB

Andy-4.2 Air 的模型比較大,完成任務的次數卻沒有比較多,顯示卡記憶體也只剩約 1.6 GB,因此本文用 Andy-4 micro。我們另外在 Prompt 裡要求 Andy-4.2 Air 說中文,它會用中文回答,卻會把指令寫成 Mindcraft 認不得的全形「!followPlayer」,回答也會混入簡體字,因此本文全程用英文。

測試用的軟體版本是 Ollama 0.40.16、Node.js 22.23.5、Paper 1.21.11 build 132,以及 develop 分支 2026 年 10 月 26 日的 Mindcraft(commit e1c1fc3)。

總結

要讓 AI 玩伴和我們同時在遊戲裡,關鍵是用 Mindcraft 支援的版本架設伺服器,讓 Mindcraft 串接 Ollama 執行的小模型,並用英文和它說話。在 RTX 3070 8 GB 上,Andy-4 micro 讓 FPS 少約一成,跟隨 3 次都成功,砍 3 塊原木 3 次中有 2 次在 30 秒內完成。

延伸閱讀

Ted Liou

Ted Liou

現役軟體工程師,分享 Unity 與 AI 的技術開發經驗。

留言