RTX 4060 8GB 本地部署 Gemma 4 E4B Q4：安裝、操作與多模態應用實戰

Gemma 4 是 Google DeepMind 推出的新一代開放權重模型系列，除了文字生成、程式設計與推理能力外，也原生支援多模態輸入。其中 Gemma 4 E4B 特別針對行動裝置與筆記型電腦等資源受限環境設計，在適當量化後，也很適合部署於 NVIDIA GeForce RTX 4060 8GB 這類消費級 GPU。

本文以以下環境為例：

  • Ubuntu 24.04
  • NVIDIA GeForce RTX 4060 8GB
  • 系統記憶體 32GB
  • Ollama
  • Gemma 4 E4B Instruct Q4_K_M

目標是不依賴雲端 API，在本機完成：

  • 一般文字問答
  • 中文／英文內容生成
  • 程式與文件分析
  • 圖片理解
  • OCR 與投影片理解
  • 圖表分析
  • 透過 REST API 整合既有系統

1. Gemma 4 E4B 是什麼？

Gemma 4 E4B 是 Gemma 4 系列中較小型的多模態模型。

這裡的 E4B 容易讓人誤以為模型只有 40 億參數，但實際上「E」代表的是 Effective Parameters。

Google 在 E2B、E4B 模型中採用 Per-Layer Embeddings（PLE）等設計，使模型實際運算成本接近較小型模型，但完整模型參數量仍較高。Ollama 所提供的 Gemma 4 E4B Q4_K_M 版本包含約 7.52B 主模型參數以及視覺 projector，下載大小約 6.6GB。

Gemma 4 E4B 原生支援：

  • Text → Text
  • Image → Text
  • Audio → Text
  • Reasoning
  • Coding
  • OCR
  • Document Understanding
  • Chart Understanding
  • Tool / Function Calling

E2B 與 E4B 的 context window 上限為 128K tokens。Google 也指出 Gemma 4 預訓練涵蓋超過 140 種語言。

不過需要特別區分「模型能力」與「執行框架能力」。

截至目前，Ollama 的：

gemma4:e4b-it-q4_K_M

明確提供的是：

Text + Image → Text

因此本文的 Ollama 多模態實作主要聚焦在 文字與圖片理解。Gemma 4 E4B 模型本身雖然支援 Audio，但不應直接假定 Ollama 本地版本已完整暴露音訊輸入介面。

2. 為什麼選擇 Q4_K_M？

原始 BF16 模型對 RTX 4060 8GB 並不實際，因此本機部署通常會採用量化版本。

本文使用：

gemma4:e4b-it-q4_K_M

其中：

it      = Instruction Tuned
Q4      = 約 4-bit 量化
K_M     = llama.cpp 常見的 K-quant 平衡版本

Ollama 目前提供的版本大小如下：

Gemma 4 E4B Q4_K_M：約 6.6GB
Gemma 4 E4B QAT：   約 6.1GB
Gemma 4 E4B Q8：    約 12GB
Gemma 4 E4B BF16：  約 16GB

對 RTX 4060 8GB 而言，Q4_K_M 是模型品質、速度與記憶體使用量之間相對合理的平衡點。

但需要注意：

6.6GB 是模型檔案／權重大小，不代表執行時只使用 6.6GB VRAM。

推理時還需要空間存放 KV Cache、CUDA buffer、圖片編碼結果及其他 runtime 資料。

因此 RTX 4060 8GB 可以執行 Gemma 4 E4B Q4，但不建議一開始就追求 128K context。

實務上可以先以：

4K～8K：非常實用
8K～16K：視工作負載測試
32K 以上：需要觀察 GPU / RAM offload 與效能
128K：模型規格上限，不代表 8GB GPU 的建議使用方式

作為配置原則。

3. 確認 NVIDIA GPU 環境

首先確認 Ubuntu 已正確辨識 NVIDIA GPU：

nvidia-smi

正常情況應可看到類似：

NVIDIA GeForce RTX 4060
Memory-Usage: xxx MiB / 8188 MiB

如果 nvidia-smi 無法執行，應先處理 NVIDIA Driver，再繼續安裝 Ollama。

4. 安裝 Ollama

Linux 官方安裝方式：

curl -fsSL https://ollama.com/install.sh | sh

安裝完成後確認：

ollama --version

檢查服務：

systemctl status ollama

若服務尚未啟動，可執行：

sudo systemctl start ollama

並設定開機自動啟動：

sudo systemctl enable ollama

5. 下載 Gemma 4 E4B Q4

下載指定的 Q4_K_M 版本：

ollama pull gemma4:e4b-it-q4_K_M

約需下載 6.6GB。

完成後查看目前安裝的模型：

ollama list

應該可以看到：

gemma4:e4b-it-q4_K_M

6. 第一個 Gemma 4 對話

執行：

ollama run gemma4:e4b-it-q4_K_M

進入互動模式後，例如輸入：

請以繁體中文解釋 Transformer 中 Attention 的運作方式，
對象是假設已經懂基本神經網路的大學生。

Gemma 就會在本機 GPU 上進行推論。

退出：

/bye

7. 確認是否真的使用 RTX 4060

開另一個 Terminal：

nvidia-smi

同時可以執行：

ollama ps

用來觀察目前載入的模型。

如果 Gemma 正在 GPU 上執行，會看到 GPU VRAM 明顯增加。

RTX 4060 8GB 執行 E4B Q4 時，由於模型本身已約 6.6GB，因此顯存餘裕並不大，這是正常現象。

8. 多模態案例一：讓 Gemma 看圖片

Gemma 4 最大的特色之一，就是不只是文字模型。

假設目錄中有：

office.jpg

可以直接：

ollama run gemma4:e4b-it-q4_K_M ./office.jpg "請詳細描述這張圖片的內容。"

Ollama 官方的 Vision 介面即支援這種「圖片路徑 + Prompt」操作方式。

例如可以要求：

請辨識這張照片中：

1. 主要人物或物件
2. 場景
3. 可以辨識到的文字
4. 可能正在進行的活動
5. 任何值得注意的異常

這時 Gemma 並不是單純執行 OCR，而是在進行：

Image
  ↓
Vision Encoder
  ↓
Gemma
  ↓
語意理解
  ↓
文字回答

因此可以回答比 OCR 更高階的問題。

9. 多模態案例二：分析 PowerPoint 投影片

這是非常適合 Gemma 4 的應用。

假設將 PowerPoint 某一頁轉為：

slide01.png

執行：

ollama run gemma4:e4b-it-q4_K_M ./slide01.png \
"你是一位專業簡報分析師。請分析這張投影片，說明：
1. 投影片的核心訊息
2. 主要數據與結論
3. 圖表所呈現的趨勢
4. 可能需要改善的地方
5. 用100字以內產生一段搜尋摘要"

這與傳統 OCR 有本質上的差異。

OCR 可能得到：

AI產業
2025
36%
市場成長
...

Gemma 則有機會進一步產生：

本頁主要說明生成式 AI 市場持續快速成長，
其中企業導入率較前一年提高 36%。
圖表顯示金融與製造業為主要採用產業……

也就是：

OCR = 讀出字

VLM = 理解這一頁在說什麼

這類功能特別適合用於簡報搜尋、知識管理、文件摘要及企業內部 RAG 系統。

Google 也將 OCR、Document/PDF parsing、Chart Understanding、UI Understanding 列為 Gemma 4 的主要 Vision 使用情境。

10. 多模態案例三：圖表分析

例如準備：

sales-chart.png

執行：

ollama run gemma4:e4b-it-q4_K_M ./sales-chart.png \
"請分析這張圖表。不要只描述圖表上的文字，
請說明主要趨勢、轉折點、異常數據，以及可能得到的商業結論。"

這類 Prompt 比：

這張圖片是什麼？

更能發揮 VLM 的能力。

Gemma 可以嘗試理解：

數據
+
座標
+
標題
+
視覺關係
+
自然語言

最後形成完整解讀。

11. 多模態案例四：OCR 與表格理解

假設有：

invoice.jpg

可以要求：

ollama run gemma4:e4b-it-q4_K_M ./invoice.jpg \
"請讀取這份文件，將其中的日期、公司名稱、品項、數量、
單價及總金額整理成 JSON。看不清楚的欄位請填 null，
不要自行猜測。"

例如輸出：

{
  "date": "2026-10-07",
  "company": "Example Corporation",
  "items": [
    {
      "name": "Notebook",
      "quantity": 10,
      "unit_price": 120
    }
  ],
  "total": 1200
}

這種方法非常適合建立：

  • 文件自動分類
  • 發票理解
  • 報表結構化
  • PowerPoint metadata extraction
  • 文件搜尋

不過在正式系統中，不應將 VLM 視為百分之百精確的 OCR 引擎。

比較合理的架構是：

圖片
 │
 ├── OCR Engine
 │      ↓
 │   原始文字
 │
 └── Gemma 4
        ↓
     文件理解
        ↓
   摘要 / Tag / JSON

兩者相互補強。

12. 使用 REST API

Ollama 本機預設提供：

http://localhost:11434

API。

因此 Gemma 不只能在 Terminal 使用，也能整合到 Python、Web 系統或 Agent。

純文字 API

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4:e4b-it-q4_K_M",
    "messages": [
      {
        "role": "user",
        "content": "請用繁體中文說明什麼是向量資料庫。"
      }
    ],
    "stream": false
  }'

本機 API 不需要雲端 API Key。

13. 使用 REST API 傳送圖片

Ollama REST API 接受 Base64 編碼圖片。

Ubuntu 可以先：

IMG=$(base64 -w 0 slide.png)

接著：

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4:e4b-it-q4_K_M",
    "messages": [
      {
        "role": "user",
        "content": "請分析這張投影片並產生100字摘要。",
        "images": ["'"$IMG"'"]
      }
    ],
    "stream": false
  }'

因此 Web 系統的基本架構可以非常簡單：

Browser
   ↓
Web Application
   ↓
Ollama REST API
   ↓
Gemma 4
   ↓
RTX 4060

整個 AI inference 都可以留在內網。

14. Python 多模態程式

安裝 Python SDK：

pip install ollama

建立：

vision.py

內容：

from ollama import chat

response = chat(
    model='gemma4:e4b-it-q4_K_M',
    messages=[
        {
            'role': 'user',
            'content': '''
請分析這張圖片。

請輸出：
1. 圖片類型
2. 主要內容
3. 圖片中的重要文字
4. 100字摘要
''',
            'images': ['./slide.png']
        }
    ]
)

print(response.message.content)

執行：

python3 vision.py

Ollama Python SDK 可以直接傳入圖片路徑，不需要自己先轉 Base64。

15. 實戰：打造 PowerPoint AI 索引器

Gemma 4 很適合用於企業簡報知識庫。

例如：

PPTX
 │
 ▼
LibreOffice
 │
 ▼
PDF
 │
 ▼
逐頁轉 PNG
 │
 ├─────────────┐
 ▼             ▼
OCR        Gemma 4 E4B
 │             │
原始文字      頁面理解
 │             │
 └──────┬──────┘
        ▼
     LLM 整理
        ▼
 ┌──────────────┐
 │ Title        │
 │ Summary      │
 │ Keywords     │
 │ Categories   │
 │ OCR Text     │
 │ People       │
 │ Organizations│
 └──────┬───────┘
        ▼
   PostgreSQL
        +
   Vector DB
        ▼
     搜尋系統

例如某張投影片可以自動得到：

{
  "title": "台灣生成式AI產業發展",
  "summary": "本頁分析2025至2028年台灣生成式AI市場...",
  "keywords": [
    "生成式AI",
    "台灣",
    "市場規模",
    "企業導入"
  ],
  "category": "AI產業分析"
}

這使原本只是「一堆 PPT 檔案」的共享空間，進一步變成可以搜尋內容與語意的知識庫。

16. 8GB VRAM 的最佳化建議

Gemma 4 E4B Q4_K_M 約 6.6GB，因此 RTX 4060 8GB 不適合讓多個大型 AI 模型同時常駐。

例如不要期待：

Gemma 4 E4B
+
Qwen3.5-9B
+
Z-Image Turbo

同時放入 8GB VRAM。

正確做法是：

需要文字／圖片理解
        ↓
載入 Gemma
        ↓
完成推論
        ↓
Unload
        ↓
需要生圖
        ↓
載入 Z-Image

Gemma 使用完畢後可以：

ollama stop gemma4:e4b-it-q4_K_M

再確認：

nvidia-smi

之後再啟動 ComfyUI 或 Z-Image Turbo。

這樣同一張 RTX 4060 就能輪流支援：

Gemma 4
    ↓
Vision / 文件理解

Qwen
    ↓
中文 / Coding / Agent

Z-Image
    ↓
Image Generation

而不需要讓三個模型同時常駐 GPU。

17. Gemma 4 的圖片解析技巧

Google 的 Gemma 4 支援不同的 Visual Token Budget：

70
140
280
560
1120

較低的 token budget 適合：

  • Image classification
  • Caption
  • 大量圖片
  • Video frame

較高的 token budget 適合：

  • OCR
  • 小字
  • 文件
  • 複雜圖表

其基本概念就是：

低 token budget
      ↓
快
      ↓
較少視覺細節


高 token budget
      ↓
慢
      ↓
保留更多視覺資訊

因此分析 PowerPoint、PDF 或密集圖表時，理論上應偏向較高的視覺資訊量。

實際能否直接調整該參數，仍取決於使用的 runtime；Ollama 不一定暴露 Google Transformers implementation 的全部底層參數。

18. Audio 功能需要特別說明

Gemma 4 E4B 模型本身確實支援 Audio。

Google 官方列出的能力包括：

Audio
  ↓
ASR 語音辨識

Audio
  ↓
Speech Translation

Audio + Text
  ↓
語音內容理解

音訊輸入目前官方模型規格支援最長約 30 秒。

但 Ollama 現有 Gemma 4 E4B tag 顯示的 input modality 是：

Text, Image

因此若需要真正測試：

WAV / MP3
     ↓
Gemma 4
     ↓
ASR / 翻譯

目前較適合依照 Google 官方文件走：

Transformers
+
AutoProcessor
+
Gemma 4 E4B

而不是假定 Ollama 的圖片介面也能直接吃 Audio。

19. Gemma 4 適合做什麼？

Gemma 4 E4B Q4 在 RTX 4060 上最值得發揮的並不是單純 Chatbot，而是：

                    Gemma 4 E4B
                         │
        ┌────────────────┼────────────────┐
        │                │                │
      Text             Vision           Coding
        │                │                │
      RAG             PPT理解          Code Review
     摘要             PDF理解          程式產生
    Knowledge          OCR             Agent
        │                │
        └────────┬───────┘
                 ▼
           Local AI Server

也就是將它視為一個可以部署在內網的 Multimodal AI Engine。

20. RTX 4060 8GB 的推薦配置

如果目標是穩定使用，而不是單純追求最高模型規格，我建議：

GPU
RTX 4060 8GB

System RAM
32GB

LLM
Gemma 4 E4B Q4_K_M

Context
起始 8K
需要時再提高

Runtime
Ollama

Vision
Gemma 4

API
localhost:11434

Image Generation
Z-Image Turbo / ComfyUI
與 Gemma 分時使用

Gemma 模型載入後，先以：

ollama ps

觀察實際載入狀況，再搭配：

watch -n 1 nvidia-smi

監控顯存。

不要單純因為模型標示：

128K Context

就直接配置成 128K。

模型支援的最大 context 與硬體適合執行的 context，是兩個不同概念。

21. 安裝 Open WebUI

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

結語

Gemma 4 E4B Q4_K_M 是目前相當有意思的一類 Edge Multimodal Model。

它最值得注意之處並不是「40 億參數的小模型」，而是 Google 嘗試透過 Effective Parameters 與新的多模態架構，讓原本需要高階 GPU 的：

文字
+
圖片
+
文件
+
推理
+
程式

整合到較低資源設備中。

對 RTX 4060 8GB 而言：

gemma4:e4b-it-q4_K_M

已經接近 8GB GPU 能夠合理部署的上緣，但仍具有很高的實用價值。

尤其當應用從：

「在本機跑一個 Chatbot」

進一步轉變成：

「讓本機 AI 看懂照片、PowerPoint、圖表與企業文件」

Gemma 4 E4B 才真正展現出與傳統純文字小模型不同的價值。

最簡單的起點只需要三個指令：

curl -fsSL https://ollama.com/install.sh | sh

ollama pull gemma4:e4b-it-q4_K_M

ollama run gemma4:e4b-it-q4_K_M

接著準備一張圖片：

ollama run gemma4:e4b-it-q4_K_M ./slide.png \
"請分析這張投影片的核心訊息、圖表趨勢，並產生100字摘要。"

從這一步開始，RTX 4060 就不再只是運行文字 LLM，而已經可以作為一台完整的本地端多模態 AI 工作站。