對於有在使用 AI 聊天機器人的讀者來說,一定想試試看能不能在本地安裝 LLM 大語言模型,這樣即便沒有網路也能使用,而這篇要介紹的 GPT4All,就是一個能讓你輕鬆在 Windows、Mac、Ubuntu 電腦本地安裝 LLM 的免費工具,不僅提供多種模型,還支援透過 OpenAI Key 使用 GPT-3.5、GPT-4 的功能,下面就來教你怎麼使用。
GPT4All 在電腦本地安裝 LLM 模型,無需連網和 GPU 也能用(Windows/Mac)
GPT4All 是一個能在電腦本地安裝 LLM 大語言模型的免費工具,其聊天介面就跟 ChatGPT 很像,而且可以將聊天記錄保存在電腦裡。進到網站之後,就會看到 Windows、Mac、和 Ubuntu 的安裝檔載點,我以 Windows 為介紹範例:
而網站往下滑可以找到這款工具提供的 LLM 模型效能測試數據:
滑到底部則可以找到各 LLM 語言模型的載點,像是 Mistral、GPT4All、Orca、Wizardlm 等等,每一個都有簡易說明,像是適合哪一種需求(如:聊天、寫程式)、由哪間公司訓練的、是否能商業用途等等。每個模型上方也會標註檔案大小、RAM 需求,檔案越大通常代表數據庫越大,獲得的效果也會越好,但相對會比較要求電腦硬體:
GPT4All 介面裡也可以直接下載部分模型的,找不到你要的再回到網站下載就好。
安裝過程沒特別需求的話,一直按下一步就好:
打開 GPT4All 軟體後,會先問你要不要分享聊天數據,如果不要就選擇 No:
接著就會進到下載 LLM 語言模型的頁面,看你想要下載哪一個,如果沒在清單上的話,可至網站下載:
也支援 GPT-4、GPT 3.5,不過需要使用 OpenAI API Key,意味著這是需要連上網路才能使用,也會根據你使用量來付費。想在本地用的話,這就不適合:
我大概看一下,Orca 2(Full)是由微軟訓練,檔案也蠻大的,約 7GB 左右,我就測試這一個,另外這工具可以安裝多個模型,如果你電腦空間允許的話,可一次安裝多個,這樣測試起來也比較簡單:
安裝的模型也能隨時從這邊移除,點擊 Remove 即可:
如果你是從網站下載模型,請點擊底部的 Download path,然後選擇你儲存該模型的資料夾,接著進到聊天介面就能找到。
使用方式就跟 ChatGPT 一樣,跟它聊天:
像我問它是使用哪一個模型,它說是 OpenAI 開發的 AI 模型,為 GPT-3 技術應用,我再問它跟微軟有沒有關係,沒想到它回沒有,這跟 Orca 2 的介紹不太一樣:
覺得字體太小的話,可進到設定中的 Application,Font Size 改成中或大。這軟體都是使用 CPU 來運算,預測為 4 個執行緒,如果你想要 AI 能更快回答,可以改多一點:
跟 ChatGPT、微軟 Copilot、Google Bard 等相比,這些免費的 LLM 語言模型還是弱很多,回答速度較慢,也沒辦法回太長的內容,但好處就是本地就能玩,也可能是我測試的這個模型比較弱原因,讀者們可以玩玩看其他的:
點擊左上角三條線,可建立新的聊天室:
上方則是切換你要用的 LLM 模型: