漫畫找作品書架創作
目前創作中|
AI 寫小說

用本地 LLM 寫小說(在自己的電腦上執行):硬體需求與5個步驟

閱讀約 11 分鐘Original Novel 編輯部

記憶體有16GB左右的電腦,用免費工具就能讓本地 AI 寫小說。原稿不會離開你的電腦,也不必在意次數,想重寫幾次都可以。不過,能寫到什麼程度,要看電腦效能和模型。本文從判斷自己的電腦能不能跑開始,一路說明到讓它寫完一章。

書本角色操作著裝在小電腦裡的原稿製作機器,原稿紙張不出箱子,只在箱內循環的樣子

本文重點

  • 記憶體16GB左右的電腦,就能用免費工具(LM Studio、Ollama 等)在本地試試讓 AI 寫小說
  • 最先要看的是記憶體和 GPU 的專用記憶體。模型從小的開始試,讀讀看並比較中文是否自然
  • 能記住的長度(上下文長度)較短,所以每次都要給設定資料和上一場景的摘要,一次寫一個場景
  • 如果要公開或販售,請在所用版本的頁面上確認各模型的使用條件(授權條款)

用本地 AI 寫小說是什麼意思

在本地執行生成式 AI,是指把產生文字的 AI(大型語言模型,也稱為 LLM)裝進自己的電腦,只在電腦裡讓它寫小說。像 ChatGPT、Claude 這類在瀏覽器裡使用的 AI,會把你輸入的文字送到公司的伺服器,再把回答傳回來。在本地執行時,這些運算由你自己的電腦負責。

先說結論:記憶體有16GB左右的電腦,今天就能用免費工具試試看。不過,能寫到什麼程度,很大程度取決於電腦效能和所選的模型。本文會先判斷你的電腦能不能跑,接著安裝工具,一路說明到讓它寫完一章。

選擇在本地執行的理由,大致有下面3個。

  • 寫的東西不會離開自己手上:還沒給任何人看過的原稿,或不方便對人說的題材,都可以不送到外部伺服器就寫出來
  • 不必在意次數上限:讓它重寫幾次,都不會算進服務的使用次數(但會用到電費和電腦的時間)
  • 沒有網路也能寫:有些工具只要先把模型下載好,在收不到訊號的地方也能執行
在收不到訊號的山中小屋裡,書本角色坐在筆電前繼續寫原稿的樣子
圖1 先把模型下載好,在沒有網路的地方也能繼續寫

相對地,也有3項麻煩:電腦需要一定的效能;工具和模型要自己安裝;中文寫得好不好取決於模型,有時文字不如預期自然。可以把雲端 AI 想成是公司替你扛下了這3件事,這樣就容易理解兩者的差別。

首先,確認你的電腦能不能跑

最先要看的是記憶體(RAM)。有圖形介面的工具 LM Studio,在官方的系統需求中,Windows 和 Mac 都建議16GB以上。Mac 只支援 Apple 晶片(官方寫法是 M1~M4),Intel 處理器的 Mac 目前不在支援範圍內。Windows 還建議負責影像處理的零件(GPU)的專用記憶體(VRAM)在4GB以上(2026年11月15日於官方網站確認)。

Windows 可以在「設定」→「系統」→「關於」查看記憶體容量。GPU 的專用記憶體可以在工作管理員的「效能」→「GPU」查看。

記憶體在16GB以上? 是 否 GPU專用記憶體在4GB以上? 先用最小的模型試試看 太慢或不自然就改用雲端 是 否 從小模型試起 再擴大到 中型模型 用小模型試試看 確認文字的 產生速度
圖2 判斷自己的電腦能不能跑(數字為 LM Studio 系統需求中的建議,僅供參考)

Mac 的記憶體是和 GPU 共用的架構,所以可以跳過 GPU 那一題,只看記憶體容量。

也要看一下模型的「大小」。模型說明裡的「4B」「12B」「31B」這類數字,是內部零件(參數)的數量。越大,文字通常寫得越好,但也會用掉越多記憶體。例如 Google 的 Gemma 官方頁面,列出了載入壓縮成4位元的版本所需記憶體的參考值,如下所示。

模型大小與載入所需記憶體的參考值(中間一欄出自 Google「Gemma」官方頁面,2026年11月15日確認;右欄是據此推估的參考)
大小壓縮成4位元版本的參考值自己電腦的大致判斷
小(約2B~4B)約3~5GB記憶體16GB的筆電也容易試
中(約12B)約7GB專用記憶體較多的 GPU,或記憶體有餘裕的 Mac
大(約26B~31B)約14~18GB專用記憶體大的 GPU,或記憶體多的 Mac

這些數字只是放模型本身所需的部分。官方頁面也寫到,對話越長,用來記住內容的記憶體會另外增加。版本和工具不同,數字也會變,安裝前請到該模型的頁面確認。

工具分兩類:有圖形介面的 App,和用指令操作的工具

在本地執行模型的工具有很多種。新手常用的是下面2個。兩者都可以在工具內下載模型。

在本地執行的2個代表性工具(2026年11月15日於各官方網站確認)
LM StudioOllama
使用方式在 App 畫面上選擇模型並對話也可以從 App 開始,但以指令操作為主
支援的電腦Windows、Mac(Apple 晶片)、LinuxWindows、Mac、Linux
會不會傳出電腦官方說明:使用本地模型期間,對話和資料都不會傳到電腦外官方說明:在本地執行期間,營運方不會查看你輸入的文字和資料
沒有網路時官方說明:只要先下載好模型,就能完全離線執行下載模型時需要網路
注意事項也有付費的雲端功能,費用請以官方網站為準也能選擇在雲端執行的模型。只想在自己電腦上用的話,請選本地模型

兩者都有在公司伺服器上執行的雲端功能。如果目的是「不讓原稿離開自己的電腦」,使用前一定要確認選的模型是不是本地模型。Ollama 也提供關閉雲端功能、只在本機使用的設定。

用本地 AI 寫出一章的5個步驟

工具決定好之後,依照下面的順序進行。順序有意義的是第4步和第5步。本地模型在預設設定下,有時記不住長篇文字,所以要先決定長度,再讓它寫。

  1. 1從官方頁面安裝工具
  2. 2下載1個小模型,試試能不能跑
  3. 3讓它用中文寫一個短場景,看文字是否自然
  4. 4設定能記住的長度(上下文長度)
  5. 5先給設定資料,再一個場景一個場景地寫
安裝判斷寫作
圖3 用本地 AI 寫出一章的流程

第1、2步是先用小模型確認「跑得動」的階段。Ollama 官方的入門說明也以最小版本的模型為例,即使如此,下載量也有7GB左右。上表的「約3~5GB」是載入壓縮成4位元的版本所需的量,和工具下載的版本數字不同。請先看看電腦的剩餘空間。

第3步不要一開始就要求寫長篇章節,而是讓它寫短場景,例如「雨中的車站,兩個人睽違十年重逢的場景,400字」。把同一個要求交給2~3個模型比較著讀,很快就能看出各自中文的強項和弱點。如果在這裡就不自然,就換成更大的模型,或乾脆決定這部作品用雲端 AI 來寫,會比較省事。

第4步的「能記住的長度」,是 AI 一次能讀的文字量。根據 Ollama 的官方說明,GPU 專用記憶體不到24GiB(約26GB)時,預設值是4k(約4,000個 token;token 是 AI 計算文字的單位)。長度越長,用掉的記憶體越多,所以要配合電腦慢慢往上調。

第5步先貼上整理好人物和規則的設定資料,再一個場景一個場景地寫。理由在下一節說明。

給本地 AI 的提示詞範例

用本地模型寫長篇小說時,最傷腦筋的是「忘了之前決定好的事」。能記住的長度一短,隨著對話越來越長,一開始給的名字和設定就會被擠出能讀的範圍。

為了估算長度,我們統計了 Original Novel 上公開作品的日文章節:每章字數的中位數是3,806字,一半的章節落在3,215~4,126字之間(2026年11月14日,共227章)。一章讀起來有份量的內容,本身就有好幾千字。設定資料加上前面章節的大綱,再加上新的一章,預設的長度有時就不夠用了。

所以,每次的提示詞只保留3個部分:「簡短的設定資料+上一場景的摘要+這次要寫的1個場景」。請把○○的地方改寫後使用。

你是一位中文小說家。請遵守下面的設定資料,只寫一個場景。

【設定資料】
- 主角:○○(年齡/口頭禪「○○」/自稱「○○」)
- 另一位人物:○○(與主角的關係)
- 舞台:○○(時代、地點、季節)
- 不能改變的事:○○

【上一場景的摘要(最多3行)】
○○

【這次要寫的場景】
○○做○○的場景。約800字。
多寫對話,最後用一句讓人想繼續讀下去的話收尾。
不要加入設定資料裡沒有的名字或事件。
圖4 適合「能記住的長度」較短的模型的提示詞範本

寫好的場景,自己貼進文字檔裡接起來。要求下一個場景時,訣竅是給摘要而不是全文。一章寫完後,讓它把這一章的大綱整理成3行,當作「已經決定的事」補進設定資料,之後的章節就不容易前後矛盾。

公開小說之前,先看模型的使用條件

在本地使用的模型就算能免費下載,使用條件(授權條款)也因模型而異。只是自己寫來玩的話不太需要在意,但如果要貼到投稿網站,或出書販售,請到該模型的頁面確認下面3點。

  • 能不能商用:有的採用可廣泛使用的一般授權,也有的附加了自訂的條件
  • 有沒有標示規定:有的在散布模型本身或內含模型的產品時,要求標示名稱或附上條件的副本
  • 禁止的用法:有的另外訂有「使用政策」,並以遵守該政策為條件

例如,Google 的 Gemma 4 在發布頁面上標示採用 Apache 2.0 這種一般授權。Meta 的 Llama 3.1 採用自訂授權條款,要求遵守使用政策,並在散布模型時標示「Built with Llama」等。另外,和 Gemma 4 不同,用於更早版本等的 Gemma 使用條款中寫明,Google 不對使用 Gemma 產生的輸出主張權利。條件會隨版本改變,請到所用版本的頁面確認。用 AI 寫的文章的著作權,以及各投稿網站對 AI 的規定,和模型的條件是兩回事。

本地與瀏覽器網站,怎麼分開使用

本地的優點,是原稿不會離開自己的電腦,而且不必在意次數,想重寫幾次都可以。對於想讓 AI 一點一點接著自己的文章寫下去的人,或想在沒有網路的移動途中寫作的人來說,這是其他方式取代不了的好處。

另一方面,設定資料的管理、插圖、翻譯成其他語言,全都要自己組合。Original Novel 就是負責這些部分的瀏覽器網站。本文提示詞範例中手動完成的「每次都給設定資料」,在這裡會依作品在背後進行;每一章在公開前,AI 都會檢查與前面章節是否矛盾、名字有沒有寫錯。

想在自己電腦上自由重寫的原稿用本地,交給網站管理設定、給別人讀的故事用網站,像這樣分開用也可以。如果不想讓原稿外流的作品比較多,就先試本地;如果想盡快變成能讀的形式,就先試網站,這樣比較省事。

本站由 AI 參照設定資料寫成的故事,依閱讀量排序。

資料來源(查證日期)

  1. System RequirementsLM Studio / 英語 / 2026年11月18日 查證
  2. LM Studio Privacy PolicyLM Studio / 英語 / 2026年11月18日 查證
  3. QuickstartOllama / 英語 / 2026年11月18日 查證
  4. Local FAQOllama / 英語 / 2026年11月18日 查證
  5. Context lengthOllama / 英語 / 2026年11月18日 查證
  6. Gemma 4 model overviewGoogle AI for Developers / 英語 / 2026年11月18日 查證
  7. Gemma Terms of UseGoogle AI for Developers / 英語 / 2026年11月18日 查證
  8. Llama 3.1 Community License AgreementMeta / 英語 / 2026年11月18日 查證

常見問題

在本地執行的生成式 AI 是免費的嗎?

LM Studio 把在本地執行模型的用法列在免費範圍內,Ollama 則以 MIT 授權公開。很多模型也可以免費下載。不過,兩個工具都有付費的雲端功能,費用和條件可能會變動,請到官方網站確認。

沒有 GPU 的筆電也能讓 AI 寫小說嗎?

Ollama 的官方說明寫到,在 Linux 上找不到 NVIDIA 的 GPU 時會改用 CPU 執行,也有只用 CPU 執行的設定。不過,LM Studio 在 Windows 上建議 GPU 專用記憶體4GB以上,而且產生文字的速度會依電腦效能而不同。最保險的做法,是先用最小的模型寫一個短場景,看過速度和文字的自然程度再決定。

手機也能跑本地的生成式 AI 嗎?

也有專為手機做小的模型,Google 的 Gemma 官方頁面也列出了手機版所需記憶體的參考值。不過,要寫長篇小說,從能記住的長度和速度來看,電腦比較適合。想在手機上試的話,請從短場景的草稿開始。

用本地 AI 寫的小說,和 ChatGPT 等相比品質會比較差嗎?

差別很大程度取決於模型的大小,以及它學了多少中文。家用電腦跑得動的模型,和雲端的大型模型相比,文字的自然程度有時會有落差。把同一個要求同時交給兩邊,選比較適合自己作品的那一個,是最可靠的方法。

NVIDIA 以外的 GPU(例如 AMD)也能用嗎?

有些情況可以。根據 Ollama 的官方說明,除了 NVIDIA 的 GPU(compute capability 5.0 以上),AMD 的 GPU 可透過 ROCm v7 或 Vulkan,Mac 可透過 Apple 的 Metal 加速執行。支援的機型和驅動程式版本有詳細規定,請到官方頁面確認自己的 GPU 是否在清單中。

#新手入門#提示詞

延伸閱讀