用本地大模型写小说(在自己的电脑上运行):配置要求与5个步骤
内存有16GB左右的电脑,用免费工具就能本地部署AI写小说。原稿不会离开你的电脑,也可以不计次数地反复重写。不过,能写到什么程度,取决于电脑性能和模型。本文从判断自己的电脑能否运行讲起,一直到让它写完一章,按顺序说明。

本文要点
- 内存16GB左右的电脑,就能用免费工具(LM Studio、Ollama 等)在本地试着部署AI写小说
- 最先要看的是内存和GPU专用显存。模型从小的开始试,对比着读,看中文是否自然
- 能记住的长度(上下文长度)较短,所以每次都要给设定资料和上一场景的摘要,一次写一个场景
- 如果要公开或销售,请在所用版本的页面上确认各模型的使用条件(许可证)
本地部署AI写小说是什么意思
在本地运行生成式AI,是指把生成文字的AI(大语言模型,也叫LLM)装进自己的电脑,只在电脑里让它写小说。像 ChatGPT、Claude 这样在浏览器里使用的AI,会把你输入的文字发送到公司的服务器,再把回答传回来。本地运行时,这些计算由你自己的电脑承担。
先说结论:内存有16GB左右的电脑,今天就能用免费工具试起来。不过,能写到什么程度,很大程度上取决于电脑性能和所选的模型。本文会先判断你的电脑能不能运行,然后安装工具,一直讲到让它写完一章。
选择本地运行的理由,大致有以下3点。
- 写的东西不离开自己手里:还没给任何人看过的原稿,或不方便对人说的题材,都可以不发往外部服务器就写出来
- 不用在意次数上限:让它重写多少次,都不计入服务的使用次数(但会消耗电费和电脑的时间)
- 没有网络也能写:有些工具只要事先下载好模型,在没有信号的地方也能运行

相应地,也有3个麻烦:电脑需要一定的性能;工具和模型要自己安装;中文写得好不好取决于模型,有时文字不如预期自然。可以把云端AI理解为由公司替你承担了这3件事,这样区别就容易理解了。
首先,确认你的电脑能否运行
最先要看的是内存(RAM)。图形界面工具 LM Studio 在官方的系统要求中,Windows 和 Mac 都建议16GB以上。Mac 仅支持 Apple 芯片(官方写法是 M1~M4),Intel 芯片的 Mac 目前不在支持范围内。Windows 还建议负责图像处理的部件(GPU)的专用显存(VRAM)在4GB以上(2026年11月15日在官网确认)。
Windows 可以在“设置”→“系统”→“系统信息”中查看内存大小。GPU 的专用显存可以在任务管理器的“性能”→“GPU”中查看。
Mac 的内存与 GPU 共用,因此可以跳过 GPU 这一问,只看内存大小。
还要看看模型的“大小”。模型说明里的“4B”“12B”“31B”这类数字,是内部部件(参数)的数量。越大,文字通常写得越好,但占用的内存也越多。例如 Google 的 Gemma 官方页面,给出了加载压缩到4位的版本所需内存的参考值,如下所示。
| 大小 | 压缩到4位的版本(参考) | 自己电脑的大致判断 |
|---|---|---|
| 小(约2B~4B) | 约3~5GB | 内存16GB的笔记本电脑也容易试 |
| 中(约12B) | 约7GB | 专用显存较多的GPU,或内存充裕的Mac |
| 大(约26B~31B) | 约14~18GB | 专用显存大的GPU,或内存多的Mac |
这些数字只是存放模型本身所需的部分。官方页面也写到,对话越长,用来记住内容的内存会另外增加。版本和工具不同,数字也会变化,安装前请在该模型的页面上确认。
工具分两类:图形界面的应用和命令行工具
在本地运行模型的工具有很多。新手常用的是下面2个。两者都可以在工具内下载模型。
| LM Studio | Ollama | |
|---|---|---|
| 使用方式 | 在应用界面中选择模型并对话 | 也可以从应用开始,但以命令行运行为主 |
| 支持的电脑 | Windows、Mac(Apple 芯片)、Linux | Windows、Mac、Linux |
| 会不会传出本机 | 官方说明:使用本地模型期间,对话和资料都不会发送到电脑之外 | 官方说明:在本地运行期间,运营方不会查看你输入的文字和数据 |
| 没有网络时 | 官方说明:只要事先下载好模型,可以完全离线运行 | 下载模型时需要网络 |
| 注意事项 | 也有付费的云端功能,费用请以官网为准 | 也可以选择在云端运行的模型。只在本机使用的话,请选本地模型 |
两者都有在公司服务器上运行的云端功能。如果目的是“不让原稿离开本机”,使用前一定要确认所选的模型是不是本地模型。Ollama 还提供关闭云端功能、只在本机使用的设置。
用本地AI写出一章的5个步骤
工具确定后,按下面的顺序进行。顺序有讲究的是第4步和第5步。本地模型在初始设置下有时记不住长文,所以要先定好长度,再让它写。
- 1从官方页面安装工具
- 2下载1个小模型,试试能否运行
- 3让它用中文写一个短场景,看文字是否自然
- 4设定能记住的长度(上下文长度)
- 5先给设定资料,再一个场景一个场景地写
第1、2步是先用小模型确认“能运行”的阶段。Ollama 官方的入门说明也以最小版本的模型为例,即便如此,下载量也有7GB左右。上表的“约3~5GB”是加载压缩到4位的版本所需的量,与工具下载的版本数字不同。请先看看电脑的剩余空间。
第3步不要一上来就要求写长章节,而是让它写短场景,比如“雨中的车站,两个人十年后重逢的场景,400字”。把同一个请求发给2~3个模型比较着读,很快就能看出它们中文的强项和弱项。如果这里就不自然,换用更大的模型,或干脆决定这部作品用云端AI来写,会更省事。
第4步的“能记住的长度”,是AI一次能读的文字量。根据 Ollama 官方说明,GPU专用显存不足24GiB(约26GB)时,初始设置为4k(约4,000个token;token是AI计算文字的单位)。长度越长,占用的内存越多,所以要配合电脑一点点往上调。
第5步先贴上整理了人物和规则的设定资料,再一个场景一个场景地写。理由在下一节说明。
给本地AI的提示词示例
用本地模型写长篇小说时,最头疼的是“忘记之前定好的事”。能记住的长度一短,随着对话变长,最初给的名字和设定就会被挤出能读的范围。
为了估计长度,我们统计了 Original Novel 上公开作品的日文章节:每章字数的中位数是3,806字,一半的章节在3,215~4,126字之间(2026年11月14日,共227章)。一章读起来有分量的内容,本身就有几千字。设定资料加上前几章的梗概,再加上新的一章,初始设置的长度有时就不够了。
所以,每次的提示词只保留3部分:“简短的设定资料+上一场景的摘要+这次要写的1个场景”。请把○○的地方改写后使用。
你是一位中文小说家。请遵守下面的设定资料,只写一个场景。 【设定资料】 - 主人公:○○(年龄/口头禅“○○”/自称“○○”) - 另一位人物:○○(与主人公的关系) - 舞台:○○(时代、地点、季节) - 不能改变的事:○○ 【上一场景的摘要(最多3行)】 ○○ 【这次要写的场景】 ○○做○○的场景。约800字。 多写对话,最后用一句让人想往下读的话结尾。 不要添加设定资料里没有的名字或事件。
写好的场景,自己贴进文本文件里接起来。请求下一个场景时,诀窍是给摘要而不是全文。一章写完后,让它把这一章的梗概归纳成3行,作为“已确定的事”补进设定资料,后面的章节就不容易出现前后矛盾。
公开小说之前,先看模型的使用条件
本地用的模型即使可以免费下载,使用条件(许可证)也因模型而异。只是自己玩的话不太需要在意,但如果要发到投稿网站,或出书销售,请在该模型的页面确认下面3点。
- 能否商用:有的采用可广泛使用的通用许可证,也有的附加了独有的条件
- 有没有标注要求:有的在分发模型本身或包含模型的产品时,要求标注名称或附上条件副本
- 禁止的用法:有的另行制定“使用政策”,以遵守该政策为条件
例如,Google 的 Gemma 4 在发布页面上标明采用 Apache 2.0 这一通用许可证。Meta 的 Llama 3.1 采用独有的许可证,要求遵守使用政策,并在分发模型时标注“Built with Llama”等。另外,与 Gemma 4 不同,用于更早版本等的 Gemma 使用条款中写明,Google 不对用 Gemma 生成的输出主张权利。条件会随版本变化,请在所用版本的页面上确认。用AI写的文章的著作权,以及各投稿网站对AI的规定,与模型的条件是两回事。
本地与浏览器网站,如何区分使用
本地的优势是原稿不离开本机,而且可以不计次数地反复重写。对于想让AI一点点续写自己文章的人,或想在没有网络的路上写作的人来说,这是其他方式替代不了的好处。
另一方面,设定资料的管理、插图、翻译成其他语言,全都要自己组合。Original Novel 就是承担这些部分的浏览器网站。本文提示词示例中手动完成的“每次都给设定资料”,在这里会按作品在后台进行;每一章在公开前,AI都会检查与前面章节是否矛盾、名字有没有写错。
想在本机自由重写的原稿用本地,交给网站管理设定、给别人读的故事用网站,这样分开用也可以。如果不想让原稿外传的作品较多,就先试本地;如果想尽快做成能读的形式,就先试网站,这样更省事。
读一读AI写的故事
查看更多:读一读AI写的故事 ›本站上由AI参照设定资料写成的故事,按阅读量排序。
资料来源(核实日期)
- System RequirementsLM Studio / 英语 / 2026年11月18日 核实
- LM Studio Privacy PolicyLM Studio / 英语 / 2026年11月18日 核实
- QuickstartOllama / 英语 / 2026年11月18日 核实
- Local FAQOllama / 英语 / 2026年11月18日 核实
- Context lengthOllama / 英语 / 2026年11月18日 核实
- Gemma 4 model overviewGoogle AI for Developers / 英语 / 2026年11月18日 核实
- Gemma Terms of UseGoogle AI for Developers / 英语 / 2026年11月18日 核实
- Llama 3.1 Community License AgreementMeta / 英语 / 2026年11月18日 核实
常见问题
本地运行的生成式AI是免费的吗?
LM Studio 将在本地运行模型的用法列在免费范围内,Ollama 以 MIT 许可证公开。很多模型也可以免费下载。不过,两个工具都有付费的云端功能,费用和条件可能会变,请在官网确认。
没有GPU的笔记本电脑也能让AI写小说吗?
Ollama 的官方说明写到,在 Linux 上找不到 NVIDIA 的 GPU 时会用 CPU 运行,也有只用 CPU 运行的设置。不过,LM Studio 在 Windows 上建议GPU专用显存4GB以上,而且生成文字的速度会因电脑性能而不同。最稳妥的做法是先用最小的模型写一个短场景,看过速度和文字的自然程度再决定。
手机上也能运行本地的生成式AI吗?
也有专为手机做小的模型,Google 的 Gemma 官方页面也列出了手机版所需内存的参考值。不过,要写长篇小说,从能记住的长度和速度来看,电脑更合适。在手机上试的话,请从短场景的草稿开始。
用本地AI写的小说,和 ChatGPT 等相比质量会差吗?
差别很大程度上取决于模型的大小,以及它学了多少中文。家用电脑能运行的模型,与云端的大模型相比,文字的自然程度有时会有差距。把同一个请求发给两边,选更适合自己作品的那个,是最可靠的办法。
NVIDIA 以外的 GPU(如 AMD)也能用吗?
有时可以。根据 Ollama 的官方说明,除了 NVIDIA 的 GPU(compute capability 5.0 以上),AMD 的 GPU 可通过 ROCm v7 或 Vulkan,Mac 可通过 Apple 的 Metal 加速运行。支持的型号和驱动版本有详细规定,请在官网确认自己的 GPU 是否在列表中。



