CH10 本地 AI 模型與對話平台

Part 2: 快速上手 Ollama

從安裝到對話，15 分鐘建立你的本地 AI 環境

安裝 Ollama 下載模型終端機操作模型管理

本單元學習目標

完成本單元後，你將能夠：

1. 安裝 Ollama

在 Windows、macOS、Linux 上完成 Ollama 的安裝與啟動

2. 下載 AI 模型

使用 ollama pull 指令下載 Llama 3、Mistral 等開源模型

3. 終端機對話

使用 ollama run 在命令列與 AI 進行對話測試

4. 模型管理

學會列出、刪除、更新模型等管理指令

什麼是 Ollama？

Ollama 是一個讓你能在本地電腦運行大型語言模型（LLM）的開源工具

核心功能

一鍵下載開源 AI 模型
在本機運行，無需網路
提供 REST API 介面
支援多種作業系統
資源佔用優化

類比理解

就像在自己電腦上安裝一個「離線版 ChatGPT」，所有對話都在本機處理，不會上傳到任何雲端服務。

官方網站：https://ollama.com

Ollama 支援的 AI 模型

模型名稱	開發者	參數規模	特色
Llama 3	Meta (Facebook)	8B / 70B	最推薦，品質接近 GPT-3.5
Mistral	Mistral AI	7B	速度快，效能優異
Gemma	Google	2B / 7B	輕量化，適合入門
Phi	Microsoft	2.7B	超輕量，低資源需求

建議：初學者從 llama3（8B 版本）開始，檔案約 4.7GB，一般電腦都能運行。

步驟 1：下載並安裝 Ollama

1前往官網下載

網址 https://ollama.com

網站會自動偵測你的作業系統，顯示對應的下載按鈕。

Windows

點擊「Download for Windows」
下載 OllamaSetup.exe
雙擊執行安裝精靈
完成後系統匣出現圖示

macOS

點擊「Download for Mac」
下載 .dmg 檔案
拖曳到「應用程式」資料夾
完成後選單列出現圖示

Linux 用戶：在終端機執行 curl -fsSL https://ollama.com/install.sh | sh

步驟 2：確認安裝成功

2開啟終端機 / 命令提示字元

Windows

按下 Win + R，輸入 cmd，按 Enter

或搜尋「命令提示字元」

macOS / Linux

開啟「終端機」應用程式

或按 Cmd + Space 搜尋 Terminal

3輸入版本檢查指令

終端機 ollama --version

成功訊息範例：
ollama version 0.1.32

如果看到版本號，表示安裝成功！

步驟 3：下載你的第一個 AI 模型

4使用 pull 指令下載模型

終端機 ollama pull llama3

系統會開始下載 Llama 3 模型（約 4.7GB），顯示下載進度：

pulling manifest
pulling 6a0746a1ec1a...  100%  4.7GB/4.7GB
verifying sha256 digest
writing manifest
success

下載時間：依網路速度而定，通常需要 5-20 分鐘。
儲存位置：模型會自動儲存在系統預設位置，不需手動管理。

想要更快？可以先下載較小的模型：ollama pull mistral（約 4GB）

步驟 4：在終端機與 AI 對話

5使用 run 指令啟動對話

終端機 ollama run llama3

等待幾秒鐘載入模型後，會看到提示符號 >>>，表示可以開始對話了！

測試對話

>>> 你好，請用繁體中文自我介紹

你好！我是 Llama 3，一個由 Meta 開發的開源大型語言模型。
我可以幫助你：
- 回答各種問題
- 撰寫文章和程式碼
- 翻譯多國語言
- 進行創意寫作
有什麼我可以幫助你的嗎？

>>> /bye

離開對話：輸入 /bye 或按 Ctrl + D 即可退出

Ollama 常用指令總覽

指令	功能	範例
`ollama pull`	下載模型	`ollama pull llama3`
`ollama run`	啟動對話	`ollama run llama3`
`ollama list`	列出已下載的模型	`ollama list`
`ollama rm`	刪除模型	`ollama rm llama3`
`ollama serve`	啟動 API 伺服器	`ollama serve`
`ollama --help`	查看所有指令	`ollama --help`

模型管理實戰

查看已下載模型

ollama list

NAME          SIZE    MODIFIED
llama3:latest 4.7GB   2 hours ago
mistral:latest 4.1GB  1 day ago

刪除不需要的模型

ollama rm mistral

deleted 'mistral'

釋放硬碟空間，清理不再使用的模型。

下載其他模型

ollama pull mistral

速度快，7B 參數

ollama pull gemma

Google 輕量模型

ollama pull phi

微軟超輕量模型

啟動 API 伺服器

Ollama 提供 REST API，讓你可以用程式串接 AI 模型。

1啟動伺服器（通常自動啟動）

終端機 ollama serve

2確認伺服器運行中

開啟瀏覽器，前往：

網址 http://localhost:11434

成功訊息：如果看到「Ollama is running」，表示 API 伺服器已就緒！

API 端點：
POST http://localhost:11434/api/generate - 生成文字
POST http://localhost:11434/api/chat - 對話模式

常見問題排解

Q: 找不到 ollama 指令？

A: 重新開啟終端機，或重新啟動電腦。Windows 用戶確認安裝時已加入 PATH。

Q: 下載模型很慢？

A: 模型檔案較大（4-8GB），請耐心等待。可以嘗試使用 VPN 或換個網路環境。

Q: 記憶體不足錯誤？

A: Llama3 8B 建議至少 8GB RAM。可改用較小的模型如 phi 或 gemma:2b。

Q: 回應速度很慢？

A: 首次載入需要時間。有獨立顯卡（GPU）可大幅加速。關閉其他占用記憶體的程式。

硬體建議：

最低配置：8GB RAM、20GB 硬碟空間
建議配置：16GB RAM、SSD 硬碟、獨立顯卡

實用小技巧

在對話中切換模型

>>> /set model mistral
Switched to model mistral

>>> 你好
（現在使用 Mistral 回答）

調整模型參數

>>> /set parameter temperature 0.8
Temperature set to 0.8

>>> /set parameter num_ctx 4096
Context length set to 4096

對話中的特殊指令

指令	功能
`/bye`	結束對話
`/clear`	清除對話歷史
`/help`	查看可用指令
`/set`	設定參數

Part 2 總結

恭喜！你已經完成 Ollama 的基礎設定，現在擁有一個完全本地運行的 AI 系統。

已完成

安裝 Ollama 工具
下載 Llama 3 模型
在終端機測試對話
學會模型管理指令

核心指令

ollama pull [模型]
ollama run [模型]
ollama list
ollama serve

下一步

在 Part 3，我們將學習如何建立一個美觀的網頁對話介面，串接 Ollama API，打造專屬的 AI 對話平台！

你的本地 AI 助手已經準備就緒！
完全免費 | 離線可用 | 隱私保護 | 無限對話