厭倦雲端 AI 的高昂費用與隱私疑慮？Jan AI 提供免費、開源的解決方案，讓您在本機離線運行 AI 模型，實現個人化客製。立即探索 Jan AI，掌控您的 AI 模型！

隨著人工智慧逐漸成為一般民眾，在日常生活與工作任務上，經常運用的方便工具，我們似乎已經很難擺脫 AI 的全面入侵，學習如何擁抱並高效率的使用AI工具，正是當下所有人都必須面對的課題。

 

文章目錄

• 1. 為什麼需要打造屬於自己的 AI 助理？
• 2. 檢視系統需求，部署 Jan AI 執行環境
• 3. 從內建的 Hugging Face 下載與安裝 AI 模型
• 4. 使用、切換、停止與移除 AI 模型
• 5. 客製化設定 AI 模型，強化效能與對話表現
• 6. 運用內建助理功能，讓 AI 角色扮演
• 7. 連接雲端 AI 平台，免網頁直接存取
• 8. 啟用模型上下文協定，取得 MCP 伺服器金鑰
• 9. 設定 MCP 伺服器連接，調用網路搜尋

然而，時至今日大多數的消費者，仍是利用電腦瀏覽器、手機 App 之類的管道，存取位於雲端平台的 AI 模型，例如 OpenAI ChatGPT、Google Gemini 等，雖然應用上十分方便，但卻也擺脫不了諸多限制。

舉例來說，高昂的訂閱費用、緩慢的回應時間，以及雲端服務可能洩漏使用者個人隱私的資安風險等，這些伴隨 AI 發展而產生的問題，亦逐漸受到外界關注，並試圖找出解決或替代方案。

本次特別企劃所介紹的人工智慧應用 Jan AI，即是一款面向全類型 AI 使用者，主打免費、開源、離線、高相容性且簡單易用的軟體。

為什麼需要打造屬於自己的 AI 助理？

你是否曾經想過，使用當下流行的各種 AI 工具時，自己最在意哪些問題？有些人可能會回答「準確性」，也有些人會認為是「速度」。

只不過，上至大型企業組織，小至個人使用者，基本上都會在乎 AI 的應用成本，例如雲端服務的訂閱開銷，以及存取 API 所需要的支出花費。

雖然市面上大多數 AI 工具，都有一定的免費試用額度，但若超量使用，通常不是被切換到能力較弱的模型，就是減慢 AI 的回答速度，令人覺得非常不方便。

因此，如何盡量以低開銷，甚至是免費的方式，存取足夠強大的 AI 模型，自然就成為我們需要追求的目標之一，而透過 Jan AI 打造人工智慧助理，配合各大廠商釋出的開源 AI 模型共同使用，就是一種值得嘗試的解決方案。

▲ 即便許多雲端 AI 平台都有免費方案，但若消費者已經開始常態性使用各種 AI 工具，累積起來的花費與開銷，自然是一大負擔。

離線 AI 兼顧隱私保障

當人類跟 AI 之間的互動變得更加頻繁，有些人會因此給予人工智慧無上限的信任，進而悄然陷入隱私危機而不自知。

尤其是在跟 AI 進行溝通的過程中，我們經常會於對話裡提供私密資料，比方說個人資訊、工作機密，甚至是涉及他人的訊息。

然而，這些資料即使在表面上是由 AI 所吸收、處理，但模型背後的開發商，以及 AI 雲端平台的營運商，仍有可能會將使用者數據保留於伺服器上，進而造成隱私方面的風險。

在這種情況下，減少對雲端 AI 服務的依賴，讓人工智慧模型離線、本機運行，就變成了保障隱私最直接的方法，特別是對於企業、組織來說，把資料管理權完整掌握在自己手中，才能有效避免資安問題接著發生。

善用 AI 硬體與客製化

有鑑於 AI 近年來的大行其道，許多硬體廠商也紛紛布局，在設備中加入專用的 AI 硬體，或者增強人工智慧運算相關功能。

舉例來說，Intel 為電腦處理器產品所加入的 NPU 晶片，以及 NVIDIA 於顯示卡中，特地針對 AI 任務運算做出的加強等，然而這些硬體規格的升級，在大多數情況下幾乎都是無用武之地，畢竟消費者於本機執行 AI 任務的風潮，至今依然不夠普及。

在 Jan AI 的幫助下，電腦中閒置的 AI 硬體和晶片，終於能夠發揮所長，協助人工智慧任務進行運算。

不僅如此，本機執行 AI 模型的另一個優勢，就是能夠進行高度客製化，即透過各種詳細設定，調整 AI 模型的參數、回應方式、風格，這亦是大多數雲端 AI 平台無法提供的服務，藉此給予進階使用者更深入的操作體驗。

▲ 普遍而言允許使用者於本機執行的 AI 模型，大多都採開源方式發布，但開源 AI 的智慧程度（圖中藍色者），其實並不會比私有模型來得差。（圖片來源：Artificial Analysis）

檢視系統需求，部署 Jan AI 執行環境

本質上而言，Jan AI 是一套簡單、易用的人工智慧模型啟動器，支援Windows、Mac 與 Linux 作業系統，整個軟體專案在 Github 上完全開源，官方主打對大型語言模型（LLM）的完整控制，以及更加進階、更為全面的隱私保護。

目前 Jan AI 有數個主要功能，包含：在電腦上離線執行本機 AI 模型、雲端 AI 平台整合、自定義 AI 助手、支援模型上下文協定（MCP）伺服器等。

Jan AI 網址：https://www.jan.ai/

步驟 1：根據官方建議，Jan AI 應用程式本體僅支援 Windows 10 以上版本作業系統，使用者可以在「執行」視窗中輸入「winver」進行確認。

步驟 2：電腦記憶體總容量關係到 Jan AI 可以執行的模型參數規模；例如 8GB 記憶體能帶動 3B 參數模型，若為 13B 參數模型則要 32GB 記憶體。

步驟 3：Jan AI 同時支援 NVIDIA、AMD 與 Intel Arc 顯示卡，官方建議至少需要 6GB VRAM，才能驅動 3B 參數規模的 AI 模型。

步驟 4：由於 Jan AI 離線存取的 AI 模型，皆需要下載至電腦中才能執行，因此要準備足夠的硬碟空間，許多模型佔用容量至少都有 10GB 以上。

步驟 5：系統環境確認完畢後，接著來到 Jan AI 官方網站，選擇對應的作業系統以下載主程式；此處我們選擇 Windows 版本。

步驟 6：下載並安裝好 Jan AI 之後，點擊桌面上的手掌圖示以開啟主程式，接著 Jan AI 會自動下載數個必要元件，進度將顯示於左下角。

步驟 7：再來點選左邊欄的「Settings」，進入設定畫面後，於中間欄找到「General」，然後在右邊的「Language」切換為「繁體中文」。

步驟 8：同樣在設定頁面中，於中間欄找到「硬體」，發現「GPUs」區塊將顯示 Jan AI 已偵測且支援的顯示卡，點擊開關將其啟用。

步驟 9：中間欄的「模型提供者」中，找到「Llama.cpp」，右邊的「Version & Backend」中，Jan AI 應該會自動安裝好適合的後端引擎。

步驟 10：於中間欄找到「隱私」分頁，使用者可以自行選擇，是否要將「分析」功能開啟。注意：Jan AI 不會主動蒐集和儲存任何隱私資料。

步驟 11：若操作 Jan AI 時出現了重大問題，導致程式不斷崩潰，在「一般」分頁的「恢復原廠設定」中，使用者可以將軟體直接重設。

從內建的 Hugging Face 下載與安裝 AI 模型

安裝完畢 Jan AI 之後，這套程式仍然只是個「空殼」，因此接下來必須為它導入「靈魂」，意即替 Jan AI 安裝人工智慧模型，才能夠使整套軟體正式運作。

相較於 Ollama 等同類型程式，Jan AI 最方便的一點，就是它內建了 Hugging Face 的存取介面。Hugging Face 為目前全世界最熱門的開源 AI 平台，絕大多數開源 AI 模型，無論商業或非商業產品，幾乎都能夠在上面找到，而 Jan AI 則善用了 Hugging Face 的資源優勢，讓消費者可以直接下載、安裝各種 AI 模型。

值得注意之處，在於使用者從 Hugging Face 上，為 Jan AI 導入 AI 模型時，必須確認該模型為 GGUF 格式。

步驟 1：開啟 Jan AI 主畫面之後，點選左邊欄的「中心」，即可切換到內建的Hugging Face 頁面，從此處下載各種 AI 模型。

步驟 2：在每個 AI 模型的「下載」按鈕旁有個「i」圖示，將滑鼠移到其上，系統會簡單分析該模型適不適合自己的電腦執行，只是判斷不一定準確。

步驟 3：找到想要的 AI 模型後，點擊「下載」即會開始自動安裝，JanAI 會自動選擇適合的分支版本（若有提供），進度則顯示於左下角。

步驟 4：使用者亦可透過關鍵字搜尋特定 AI 模型，例如於上方輸入框中，鍵入 GPT-OSS、DeepSeek 等，即可過濾出對應模型。

步驟 5：對於新手與一般使用者來說，建議可以透過搜尋欄旁邊的過濾器，直接選擇「最多下載」進行排序，安裝較多人使用的 AI 模型。

使用、切換、停止與移除 AI 模型

透過內建的 Hugging Face 安裝好 AI 模型後，接著就可以正式使用 Jan AI，存取各種 AI 聊天機器人了！

根據筆者經驗與官方建議，雖然 Jan AI 會提前判斷，究竟該模型適不適合自己的電腦執行，但是實際運作狀況，仍然只有親自嘗試後才能確認。其中一個簡單的判斷原則，在於電腦硬體規格越高、效能越好，原則上可以帶動參數規模越大的模型。

最少 20B 參數的 GPT-OSS 雖然十分強大，媲美雲端版本的 GPT-4o，但在低規格電腦上執行時，反應速度會變得極慢，因此建議讀者要多加嘗試各種不同參數的 AI 模型，同時謹記量力而為，

步驟 1：開啟 Jan AI 主畫面後，點擊左邊欄的「新聊天」，接著於中間的「選擇一個模型」展開選單，挑選先前安裝的 AI 模型。

步驟 2：挑選好 AI 模型後，就可以於中間的輸入框鍵入對話，再點選右邊的箭頭圖示送出，就像操作任何 AI 聊天機器人一樣。

步驟 3：在每條 AI 回答的下方，系統都會計算 Token 的輸出速度；左邊欄亦可管理對話，按下「⋯」就能重新命名或刪除聊天。

步驟 4：若要停止正在運作中的 AI 模型，先點選左邊欄的「設定」，接著於中間欄的「模型提供者」找到「Llama.cpp」，點擊「停止」即可。

步驟 5：若是要刪除已經下載、安裝的模型，於步驟 4 的畫面點選模型名稱旁的垃圾桶圖示，即可把整個 AI 模型從 Jan AI 中移除，節省硬碟空間。

客製化設定 AI 模型，強化效能與對話表現

透過 Jan AI 本機執行 AI 模型的一大好處，就是可以任意調整模型的各種參數，藉此最佳化模型的執行速度、效能，甚至是調整出更為理想的對話表現。

只不過，隨心調整 AI 模型的各項參數雖然看似簡單，但各個數值本身所代表的意義，相對之下卻比較不容易理解。筆者認為，較為重要的數值是「上下文大小」（Context Size）、GPU 層數（GPU Layers）及溫度（Temperature），這些參數的意義將在下面的教學中詳細說明。至於 Top K、Top P 等數值，雖然也會影響 AI 模型的回答方式、風格，但相對之下也需要更精細的參數調整、重複測試，才能獲得使用者理想中的效果。

步驟 1：首先於 Jan AI 的主畫面中，任意選擇一個 AI 模型，接著點擊模型名稱旁邊的齒輪圖示。

步驟 2：此時右邊就會開啟該模型的設定視窗，若點一下「Auto-Optimize Settings」，系統就會分析電腦效能，並為 AI 模型套用最佳化設定。

步驟 3：下方各種參數使用者皆可隨意調整。首先，Context Size 將影響模型可以記住多少上下文，數字越大則記住的對話越多。

步驟 4：至於 GPU Layers 的數字越大，代表 AI 模型的反應速度將越快，但也需要更多 VRAM，若調為 0 則代表僅使用 CPU 進行運算。

步驟 5：Temperature 參數影響 AI 模型的創造力，以及回應的可預測程度，數值 0.3 以下回應會相對聚焦且一致，而 0.7 以上回應則更加具備創意。

運用內建助理功能，讓 AI 角色扮演

過去曾經有新聞指出，許多 AI 開發商都會預先設定一套「性格」，並且以提示詞方式，將性格或角色預先載入到使用者跟 AI 模型之間的對話中，為整個聊天過程帶來更好的回應體驗。

而在 Jan AI 中，開發者也加入了類似的「助理」功能，讓使用者可以藉由事先編寫提示詞，為 AI 模型打造獨特的個性與角色。

Jan AI 官方在程式中預設了一套性格範本「Jan」，它的設定是一位「樂於助人的 AI 助理」，並會「保持簡潔、清晰且實用的回覆」，且盡量「坦承自己的無知，避免憑空杜撰」，符合多數使用者對 AI 助理的要求。

步驟 1：首先於左邊欄中，找到「助理」選項。Jan AI 官方已經為使用者內建了一套性格提示詞「Jan」，按一下鉛筆圖示即可編輯。

步驟 2：內建的「Jan」被官方設定為一名「樂於助人的 AI 助理」，提示詞以英文寫成，說明了它的責任與限制。

步驟 3：若點擊步驟 1 右上角的「Add Assistant」按鈕，即可新增一位全新助理，並且編寫專屬提示詞，更可設定該名助理的頭像與名稱。

步驟 4：若要應用助理功能，回到 Jan AI 主畫面後，點擊中間畫面的左上角，即可切換各種 AI 助理與提示詞，套用到目前使用的 AI 模型上。

步驟 5：以筆者在步驟 3 新增的「程式開發助理」為例，當使用者詢問它的角色時，AI 模型將會遵照提示詞的指導，進行角色扮演與相關回應。

連接雲端 AI 平台，免網頁直接存取

除了離線執行各種開源 AI 模型外，Jan AI 也希望成為一站式的人工智慧整合工具，並且開放使用者連接到各大雲端平台，例如 OpenAI、Google。

無論使用者想連接到哪個平台，基本步驟其實都大同小異，關鍵皆在於取得特定平台的 API Key。因此，使用者必須事先註冊完成雲端 AI 平台帳號，才能生成 API Key 並存取對應模型。

OpenAI Platform 網址：https://platform.openai.com/

步驟 1：首先來到 OpenAI Platform，點擊右上角的「Log in」登入OpenAI 帳號，或者按下「Sign up」進行註冊。

步驟 2：確認登入後， 再點選右上角的「Start building」，進入組織設定畫面。

步驟 3：接著為組織隨意設定一個名稱，日後仍可進行更改，並選擇組織的類型，接著按「Create organization」。

步驟 4：接著為即將生成的 API Key 與專案設定名稱，再按下「Generate API Key」。

步驟 5：點擊「Copy」將 API Key 複製下來。注意，離開這個畫面之後，將不能再次查看與複製 API Key，也不要隨意外流 API Key 給他人。

步驟 6：接著 OpenAI 會詢問使用者是否需要儲值點數，畢竟在調用雲端API的情況下，每次操作、存取 AI 模型都會花錢，也可以暫時跳過不買。

步驟 7：回到 OpenAI Platform 後，點擊左邊欄的「API Key」，即可進行管理、移除；點擊「Usage」則可以查閱 API Key 的使用狀態。

步驟 8：取得 API Key 後，回到 Jan AI 主畫面，點擊左邊欄的「設定」，再找到「模型提供者」之下的「OpenAI」，於右邊輸入框貼上即可。

步驟 9：Jan AI 內建多款模型名稱，方便使用者直接存取、切換；若遇到陌生模型，只要雲端平台已公布相關資訊，使用者亦可自行加入或修改。

步驟 10：回到 Jan AI 主畫面，點擊輸入框左邊的模型切換按鈕，選擇想要使用的 OpenAI 模型名稱，就能透過 Jan AI 存取在雲端運作的 AI 模型。

步驟 11：若在使用時跳出錯誤，一般來說都是平台額度不足，或者 API Key 失效、遭到撤銷，網路連接情況偶爾也會影響使用體驗。

啟用模型上下文協定，取得 MCP 伺服器金鑰

近來 AI 市場上最為火紅的名詞之一，莫過於是「模型上下文協定」（MCP）。簡單來說，MCP 是個開放性標準，希望讓大型語言模型（LLM）可以透過標準化的方式，跟外部資料、工具和服務進行互動。

MCP 將是實踐 AI 代理最重要的元素之一，因為它能打通 AI 模型在外部資料存取方面的困難；至於對 Jan AI 來說，目前程式支援 MCP 的主要用途，在於讓離線 AI 模型也能調用網路搜尋、瀏覽器操作等進階功能。

Serper 網址：https://serper.dev/

步驟 1：首先來到 Serper 首頁，然後點選右上角的「Sign up」，免費註冊一個帳號，讓 AI 可以透過 MCP 調用網路搜尋功能。

步驟 2：輸入名稱、電子郵件地址與密碼，點擊驗證並按下「Create account」即可；Serper 並不會一開始就要求輸入信用卡資訊，非常人性化。

步驟 3：接著至電子信箱，接收 Serper 寄來的帳號認證信並點擊連結。注意，若不完成此步驟，將無法取得 API Key。

步驟 4：完成註冊並登入 Serper 後，點擊左邊欄的「API Keys」切換到金鑰管理頁面。

步驟 5：雖然Serper預設會配發一組API Key給予使用者，但此處我們點選右上角的「Create New Key」來新增金鑰。

步驟 6：在「Key Name」位置輸入金鑰名稱，接著按下「Create」。

步驟 7：新增 API Key 完成之後，按一下右邊的雙方框圖示，將剛剛新增的金鑰直接複製，方便後續貼上 Jan AI。

步驟 8：若要撤銷、移除某組 API Key，按一下最右邊的「Reset」後，再點擊「Reset Key」即可讓該組金鑰失效。

步驟 9：Serper 為所有新註冊的會員，提供了高達 2500 點的額度，方便測試與部署 AI 應用環境；點擊左邊欄的「Billing」就能看見餘額。

步驟 10：若使用者有長期使用 Serper 服務的需求，可以選擇在綁定信用卡帳號後，啟動餘額過低時的自動儲值功能，確保 MCP 工具不會因此失效。

步驟 11：未來 AI 模型存取 Serper 服務時，其活動情況都會記錄於「Logs」頁面，使用者也能於此處確認每個搜尋要求消耗了多少額度。

設定 MCP 伺服器連接，調用網路搜尋

完成 Serper 的帳號註冊及 API Key 取得後，接著就可以回到 Jan AI 中，為本機運作的 AI 模型，啟用線上的 Google 網頁搜尋功能。

根據 Jan AI 說法，目前適合調用 Serper MCP 工具的 AI 模型，為官方自行開發的 Jan-v1。Jan-v1 模型基於 Qwen 3 進行訓練，專為推理和問題解決任務而設計，由於參數規模僅有 4B，因此雖然執行速度較快，但準確率也難以跟先進的科技巨頭模型互相匹敵。

理論上，只要是支援工具呼叫的 AI 模型，應該都可以調用 Serper MCP 工具，因此讀者可以多加嘗試，找出適合搭配使用的 AI 模型，強化自身操作體驗。

步驟 1：首先到 Serper 的「API Keys」頁面，點擊雙方框圖示複製金鑰。

步驟 2：接著回到 Jan AI，於左邊欄找到「設定」，然後在中間欄找到「MCP伺服器」，然後於右邊找到「Serper」區塊，將開關轉為開啟。

步驟 3：當上方跳出「Serper 伺服器啟用成功」提示後，按一下 Serper 區塊的鉛筆圖示進行編輯。

步驟 4：於「環境變數」區塊的「SERPER_API_KEY」右方的輸入框中，刪掉原本的文字，貼上步驟 1 複製的金鑰，然後按「儲存」。

步驟 5：接著回到「設定」畫面，找到中間欄的「模型提供者」與「Llama.cpp」，然後選擇任一個本機模型並按下鉛筆圖示。

步驟 6：確認「功能」區塊的「工具」開關已經啟用即可。注意：若該 AI 模型不支援工具呼叫，則不會有開關出現。

步驟 7：回到 Jan AI 主畫面，切換到剛剛已經啟用工具呼叫功能的 AI 模型，此處以 Jan-v1 為例。 

步驟 8：選擇 AI 模型後，右邊的板手圖示將出現數字，點擊後請將與 Serper相關的功能全部啟用。

步驟 9：接著就可以直接詢問 AI，需要動用網路搜尋的即時性問題。值得注意的是除非指令明確，否則 AI 模型通常會以調用自身資料庫數據為優先。

步驟 10：若在 AI 運算過程中出現核准畫面，即代表模型已成功連接網路上的MCP伺服器；點擊「允許一次」或「在討論串中允許」開放授權。

步驟 11：若一切順利，AI 將會調用由 Serper MCP 伺服器提供的 Google 搜尋功能，結合 AI 模型本身的運算，將指定資料呈現出來。

本文同步刊載於 PC home 雜誌

歡迎加入 PC home 雜誌粉絲團！

 

• 延伸閱讀：Meta 夢醒了？傳元宇宙部門 Reality Labs 本週將裁員數百人，祖克伯轉身擁抱 AI
• 延伸閱讀：NVIDIA RTX 60 竟要等到 2027？史上最長空窗期！黃仁勳親曝顯卡未來「AI 為王」！
• 延伸閱讀：黃仁勳潑冷水？直言「上帝級 AI」還早得很：那是星系級的時間跨度

 

加入T客邦Facebook粉絲團