만화찾기내 책장만들기
현재 작성 중|
AI로 소설 쓰기

로컬 LLM으로 소설 쓰기(내 PC에서 직접 실행): 필요한 사양과 5단계

약 8분 분량Original Novel 편집부

메모리가 16GB 정도인 PC라면 소설을 쓰는 생성형 AI를 무료 도구로 내 PC에서 돌릴 수 있습니다. 원고가 내 손을 떠나지 않고, 횟수를 신경 쓰지 않고 몇 번이든 다시 쓰게 할 수 있다는 점이 장점입니다. 다만 어디까지 쓸 수 있는지는 PC 성능과 모델에 달려 있습니다. 이 글에서는 내 PC에서 돌아가는지 판단하는 것부터 한 장(챕터)을 쓰게 하기까지 순서대로 설명합니다.

책 캐릭터가 작은 컴퓨터 안에 들어 있는 원고 제작 기계를 조작하고, 원고 종이가 밖으로 나가지 않고 상자 안에서만 돌고 있는 모습

이 글의 핵심

  • 메모리 16GB 정도의 PC라면 소설을 쓰는 생성형 AI를 무료 도구(LM Studio, Ollama 등)로 로컬에서 시험해 볼 수 있다
  • 먼저 볼 것은 메모리와 GPU 전용 메모리. 모델은 작은 것부터 시험하고, 한국어 문장이 자연스러운지 비교해 읽어 본다
  • 기억할 수 있는 길이(컨텍스트 길이)가 짧으므로, 설정 자료와 직전 요약을 매번 넘기고 한 장면씩 쓰게 한다
  • 공개하거나 판매하려면 사용하는 버전의 페이지에서 모델별 이용 조건(라이선스)을 확인한다

로컬 AI로 소설을 쓴다는 것은

생성형 AI를 로컬에서 돌린다는 것은, 글을 만드는 AI(대규모 언어 모델, LLM이라고도 합니다)를 내 PC에 설치해서 PC 안에서만 소설을 쓰게 하는 것입니다. ChatGPT나 Claude처럼 브라우저에서 쓰는 AI는 입력한 글을 회사의 서버로 보내 답을 받아 옵니다. 로컬에서는 그 계산을 내 PC가 맡습니다.

결론부터 말하면, 메모리가 16GB 정도인 PC라면 무료 도구로 오늘 바로 시험해 볼 수 있습니다. 다만 어디까지 쓸 수 있는지는 PC 성능과 고르는 모델에 따라 크게 달라집니다. 이 글에서는 먼저 내 PC에서 돌아가는지 판단하고, 도구를 설치한 뒤, 한 장을 쓰게 하기까지 차례로 진행합니다.

로컬을 고르는 이유는 대체로 다음 세 가지입니다.

  • 쓴 글이 내 손을 떠나지 않는다: 아직 아무에게도 보여 주지 않은 원고나 남에게 말하기 어려운 소재를, 외부 서버로 보내지 않고 쓸 수 있다
  • 횟수 제한을 신경 쓰지 않아도 된다: 몇 번을 다시 쓰게 해도 서비스 이용 횟수에 포함되지 않는다(전기 요금과 PC의 시간은 씁니다)
  • 인터넷이 없어도 쓸 수 있다: 모델을 한 번 내려받아 두면, 전파가 닿지 않는 곳에서도 돌릴 수 있는 도구가 있다
전파가 닿지 않는 산장의 책상에서 책 캐릭터가 노트북을 마주하고 원고를 써 나가는 모습
그림 1 모델을 미리 내려받아 두면 인터넷이 없는 곳에서도 계속 쓸 수 있다

대신 번거로운 점도 세 가지 있습니다. PC에 어느 정도 성능이 필요하다는 것, 도구와 모델을 직접 설치해야 한다는 것, 그리고 한국어 실력이 모델에 따라 달라서 생각만큼 자연스러운 문장이 나오지 않을 수 있다는 것입니다. 클라우드 AI는 이 세 가지를 회사가 대신 맡아 주고 있다고 생각하면 차이를 이해하기 쉽습니다.

먼저 내 PC에서 돌아가는지 확인하기

가장 먼저 볼 것은 메모리(RAM)입니다. 화면에서 조작하는 도구인 LM Studio는 공식 시스템 요구 사항에서 Windows와 Mac 모두 16GB 이상을 권장합니다. Mac은 Apple 실리콘(공식 표기로는 M1~M4)이 대상이며, Intel Mac은 현재 대상이 아닙니다. Windows에서는 그래픽 처리를 맡는 부품(GPU)의 전용 메모리(VRAM)가 4GB 이상인 것도 권장합니다(2026년 11월 15일 공식 페이지에서 확인).

Windows라면 '설정' → '시스템' → '정보'에서 메모리 용량을 알 수 있습니다. GPU 전용 메모리는 작업 관리자의 '성능' → 'GPU'에서 볼 수 있습니다.

메모리가 16GB 이상? 예 아니요 GPU 전용 메모리가 4GB 이상? 가장 작은 모델로 시험 느리거나 어색하면 클라우드로 예 아니요 작은 모델부터 시험하고 중간 모델로 넓히기 작은 모델로 시험하고 문장이 나오는 속도 확인하기
그림 2 내 PC에서 돌아가는지 판단하기(수치는 LM Studio 시스템 요구 사항의 권장 값. 기준일 뿐입니다)

Mac은 메모리를 GPU와 함께 쓰는 구조이므로, GPU 질문은 건너뛰고 메모리 용량만 보면 됩니다.

모델의 '크기'도 봐 둡니다. 모델 설명에 있는 '4B' '12B' '31B' 같은 숫자는 내부 부품(파라미터)의 수로, 클수록 문장이 좋아지기 쉬운 대신 메모리를 많이 씁니다. 예를 들어 Google Gemma 공식 페이지는 4비트로 줄인 버전을 불러오는 데 필요한 메모리 기준을 다음과 같이 보여 줍니다.

모델 크기와 불러오는 데 필요한 메모리 기준(가운데 열은 Google 'Gemma' 공식 페이지, 2026년 11월 15일 확인. 오른쪽 열은 이를 바탕으로 한 기준)
크기4비트로 줄인 버전의 기준내 PC로 가늠하기
작음(2B~4B 정도)약 3~5GB메모리 16GB 노트북에서도 시험하기 쉽다
중간(12B 정도)약 7GB전용 메모리가 넉넉한 GPU나, 메모리에 여유가 있는 Mac에서
큼(26B~31B 정도)약 14~18GB전용 메모리가 큰 GPU나, 메모리가 많은 Mac에서

이 수치는 모델 자체를 올려 두는 데 필요한 양일 뿐입니다. 공식 페이지에도 대화가 길어질수록 기억해 두는 데 쓰는 메모리가 따로 늘어난다고 적혀 있습니다. 버전이나 도구에 따라서도 달라지므로, 설치하기 전에 해당 모델의 페이지에서 확인하세요.

도구는 두 종류: 화면으로 쓰는 앱과 명령어로 쓰는 도구

로컬에서 모델을 돌리는 도구는 여러 가지가 있습니다. 처음 쓰는 사람이 많이 쓰는 것은 다음 두 가지입니다. 둘 다 도구 안에서 모델을 내려받을 수 있습니다.

로컬에서 돌리는 대표적인 도구 두 가지(2026년 11월 15일 각 공식 페이지에서 확인)
LM StudioOllama
사용 방법앱 화면에서 모델을 골라 말을 건다앱으로도 시작할 수 있지만, 명령어로 돌리는 방식이 중심
쓸 수 있는 PCWindows, Mac(Apple 실리콘), LinuxWindows, Mac, Linux
PC 밖으로 나가는지로컬 모델을 쓰는 동안에는 대화도 자료도 PC 밖으로 보내지 않는다고 안내로컬에서 돌리는 동안에는 입력한 글이나 데이터를 운영사가 보지 않는다고 안내
인터넷이 없을 때모델을 미리 내려받아 두면 모두 오프라인으로 돌아간다고 안내모델을 내려받을 때는 인터넷이 필요
주의할 점유료 클라우드 기능도 있다. 요금은 공식 페이지에서 확인클라우드에서 돌아가는 모델도 고를 수 있다. 내 PC에서만 쓰려면 로컬 모델을 고른다

두 도구 모두 회사 서버에서 돌리는 클라우드 기능도 있습니다. '원고를 내 손 밖으로 내보내지 않는 것'이 목적이라면, 고른 모델이 로컬 모델인지 쓰기 전에 확인하는 것이 중요합니다. Ollama에는 클라우드 기능을 끄고 내 PC에서만 쓰는 설정도 마련되어 있습니다.

로컬 AI로 한 장을 쓰게 하기까지의 5단계

도구를 정했다면 다음 순서로 진행합니다. 순서에 특히 의미가 있는 것은 4와 5입니다. 로컬 모델은 처음 설정 그대로는 긴 글을 다 기억하지 못할 때가 있으므로, 길이를 정한 뒤에 쓰게 합니다.

  1. 1공식 페이지에서 도구를 설치한다
  2. 2작은 모델 하나를 내려받아 돌아가는지 시험한다
  3. 3한국어로 짧은 장면을 쓰게 해서 문장이 자연스러운지 본다
  4. 4기억할 수 있는 길이(컨텍스트 길이)를 정한다
  5. 5설정 자료를 먼저 주고 한 장면씩 쓰게 한다
설치판단쓰기
그림 3 로컬 AI로 한 장을 쓰게 하기까지

1과 2는 먼저 작은 모델로 '돌아가는지'를 확인하는 단계입니다. Ollama 공식 시작 안내에서도 가장 작은 버전의 모델을 예로 들고 있는데, 그래도 내려받는 양이 7GB 정도 됩니다. 위 표의 '약 3~5GB'는 4비트로 줄인 버전을 불러오는 양이라서, 도구가 내려받는 버전과는 숫자가 다릅니다. PC의 남은 저장 공간을 먼저 확인해 두세요.

3에서는 처음부터 긴 장(챕터)을 부탁하지 말고, '비 오는 역에서 두 사람이 10년 만에 만나는 장면을 400자로'처럼 짧은 장면을 쓰게 합니다. 같은 요청을 2~3개 모델에 넣어 비교해 읽으면, 한국어를 잘하는지 못하는지 금방 알 수 있습니다. 여기서 어색하다면 더 큰 모델로 바꾸거나, 그 작품은 클라우드 AI로 쓰기로 정해 버리는 편이 빠릅니다.

4의 '기억할 수 있는 길이'는 AI가 한 번에 읽을 수 있는 글의 양입니다. Ollama 공식 설명에 따르면 GPU 전용 메모리가 24GiB(약 26GB) 미만이면 처음 설정은 4k(약 4,000토큰. 토큰은 AI가 글을 세는 단위)입니다. 길게 할수록 메모리를 많이 쓰므로, PC에 맞춰 조금씩 올립니다.

5에서는 인물과 정해 둔 규칙을 정리한 설정 자료를 맨 처음에 붙여 넣고, 장면을 하나씩 쓰게 합니다. 이유는 다음 절에서 설명합니다.

로컬 AI에 넘기는 프롬프트 예시

로컬 모델로 긴 소설을 쓸 때 가장 곤란한 것은 '앞에서 정한 것을 잊어버리는' 일입니다. 기억할 수 있는 길이가 짧으면, 대화가 길어질수록 처음에 넘긴 이름이나 설정이 읽을 수 있는 범위 밖으로 밀려납니다.

길이를 가늠하기 위해 Original Novel에 공개된 작품의 일본어 장을 세어 보니, 한 장의 글자 수는 중앙값이 3,806자, 절반의 장이 3,215~4,126자 안에 들어 있었습니다(2026년 11월 14일, 227장). 읽을 맛이 있는 한 장(챕터)은 그것만으로도 수천 자 분량이 됩니다. 설정 자료와 앞 장의 줄거리에 새 장까지 더하면, 처음 설정의 길이로는 모자랄 수 있습니다.

그래서 매번의 프롬프트를 '짧은 설정 자료 + 직전 장면의 요약 + 이번에 쓸 한 장면' 세 가지로 좁힙니다. ○○ 부분을 바꿔 써서 사용하세요.

당신은 한국어 소설가입니다. 다음 설정 자료를 지켜서 한 장면만 써 주세요.

[설정 자료]
- 주인공: ○○ (나이 / 입버릇 "○○" / 자신을 부르는 말 "○○")
- 상대: ○○ (주인공과의 관계)
- 무대: ○○ (시대, 장소, 계절)
- 바꾸면 안 되는 것: ○○

[직전 장면의 요약 (3줄까지)]
○○

[이번에 쓸 장면]
○○이(가) ○○하는 장면. 약 800자.
대화를 많이 넣고, 마지막은 다음이 궁금해지는 한 문장으로 끝낸다.
설정 자료에 없는 이름이나 사건은 더하지 않는다.
그림 4 기억할 수 있는 길이가 짧은 모델을 위한 프롬프트 템플릿

완성된 장면은 직접 텍스트 파일에 붙여 이어 나갑니다. 다음 장면을 부탁할 때는 전문이 아니라 요약을 넘기는 것이 요령입니다. 한 장을 다 쓰면 그 장의 줄거리를 3줄로 정리하게 하고, 설정 자료에 '정해진 것'으로 추가해 두면 뒤의 장에서 어긋남이 잘 생기지 않습니다.

쓴 소설을 공개하기 전에 모델의 이용 조건 확인하기

로컬에서 쓰는 모델은 무료로 내려받을 수 있더라도, 사용 조건(라이선스)이 모델마다 다릅니다. 혼자 즐기기만 한다면 신경 쓸 일이 적지만, 연재 사이트에 올리거나 책으로 내서 판매한다면 해당 모델의 페이지에서 다음 세 가지를 확인해 둡니다.

  • 상업적으로 써도 되는지: 널리 쓸 수 있는 일반적인 라이선스도 있고, 독자적인 조건을 붙인 것도 있다
  • 표시 규정이 있는지: 모델 자체나 그것을 포함한 것을 배포할 때 이름 표시나 조건 사본을 요구하는 것이 있다
  • 금지된 사용법: 별도로 '이용 정책'을 정하고, 그것을 지키는 것을 조건으로 하는 것이 있다

예를 들어 Google의 Gemma 4는 배포 페이지에 Apache 2.0이라는 일반적인 라이선스가 표시되어 있습니다. Meta의 Llama 3.1은 독자적인 라이선스로, 이용 정책을 지킬 것과 모델을 배포할 때 'Built with Llama'라고 표시할 것 등을 요구합니다. 또한 Gemma 4와는 별도로, 그보다 이전 버전 등에 쓰이는 Gemma 이용 약관에서는 Google이 Gemma로 만든 출력물에 대해 권리를 주장하지 않는다고 밝히고 있습니다. 조건은 버전마다 바뀌므로, 사용하는 버전의 페이지에서 확인하세요. AI로 쓴 글의 저작권이나 연재 사이트마다의 AI 관련 규정은 모델의 조건과는 별개로 있습니다.

로컬과 브라우저 사이트, 어떻게 나눠 쓸까

로컬의 강점은 원고를 내 손 밖으로 내보내지 않고, 횟수를 신경 쓰지 않고 몇 번이든 다시 쓰게 할 수 있다는 점입니다. 내 글의 뒷부분을 조금씩 쓰게 하고 싶은 사람이나, 인터넷이 없는 이동 중에 쓰고 싶은 사람에게는 다른 것으로 대신할 수 없는 장점이 있습니다.

반면 설정 자료 관리, 삽화, 다른 언어로의 번역까지 전부 직접 조합해야 합니다. Original Novel은 이 부분을 맡는 브라우저 사이트입니다. 이 글의 프롬프트 예시에서 손으로 했던 '설정 자료를 매번 넘기는 일'을 작품마다 뒤에서 처리하고, 각 장은 공개 전에 AI가 앞 장과의 모순이나 이름 오류를 점검합니다.

내 PC에서 자유롭게 고쳐 쓰고 싶은 원고는 로컬로, 설정 관리까지 맡기고 다른 사람에게 읽히고 싶은 이야기는 사이트로 나눠 쓸 수도 있습니다. 원고를 밖으로 내보내고 싶지 않은 작품이 많다면 로컬을, 바로 읽을 수 있는 형태로 만들고 싶다면 사이트를 먼저 써 보면 수고가 덜 듭니다.

AI가 쓴 이야기를 읽어 보기

AI가 쓴 이야기를 읽어 보기 더 보기 ›

이 사이트에서 AI가 설정 자료를 보면서 쓴 이야기입니다. 많이 읽힌 순서로 정렬했습니다.

출처(확인한 날짜)

  1. System RequirementsLM Studio / 영어 / 2026년 11월 18일 확인
  2. LM Studio Privacy PolicyLM Studio / 영어 / 2026년 11월 18일 확인
  3. QuickstartOllama / 영어 / 2026년 11월 18일 확인
  4. Local FAQOllama / 영어 / 2026년 11월 18일 확인
  5. Context lengthOllama / 영어 / 2026년 11월 18일 확인
  6. Gemma 4 model overviewGoogle AI for Developers / 영어 / 2026년 11월 18일 확인
  7. Gemma Terms of UseGoogle AI for Developers / 영어 / 2026년 11월 18일 확인
  8. Llama 3.1 Community License AgreementMeta / 영어 / 2026년 11월 18일 확인

자주 묻는 질문

로컬에서 돌리는 생성형 AI는 무료인가요?

LM Studio는 로컬에서 모델을 돌리는 사용법을 무료 범위에 포함하고 있고, Ollama는 MIT 라이선스로 공개되어 있습니다. 많은 모델도 무료로 내려받을 수 있습니다. 다만 두 도구 모두 유료 클라우드 기능이 있고 요금과 조건은 바뀔 수 있으니, 공식 페이지에서 확인하세요.

GPU가 없는 노트북으로도 소설을 쓰게 할 수 있나요?

Ollama 공식 설명에는 Linux에서 NVIDIA GPU를 찾지 못하면 CPU로 실행하는 것, 그리고 CPU만으로 실행하는 설정이 나와 있습니다. 다만 LM Studio는 Windows에서 GPU 전용 메모리 4GB 이상을 권장하며, PC 성능에 따라 문장이 나오는 속도가 달라집니다. 먼저 가장 작은 모델로 짧은 장면을 써 보게 하고, 속도와 문장의 자연스러움을 본 뒤 정하는 것이 확실합니다.

스마트폰에서도 로컬 생성형 AI가 돌아가나요?

스마트폰용으로 작게 만든 모델도 있고, Google Gemma 공식 페이지에는 스마트폰용 버전에 필요한 메모리 기준도 나와 있습니다. 다만 긴 소설을 쓰려면 기억할 수 있는 길이나 속도 면에서 PC가 더 적합합니다. 스마트폰으로 시험한다면 짧은 장면의 초안부터 시작하세요.

로컬 AI로 쓴 소설은 ChatGPT 등과 비교해 품질이 떨어지나요?

모델의 크기와 한국어를 얼마나 학습했는지에 따라 크게 달라집니다. 가정용 PC에서 돌릴 수 있는 크기의 모델은 클라우드의 큰 모델에 비해 문장의 자연스러움에 차이가 날 수 있습니다. 같은 요청을 양쪽에 넣어 보고, 내 작품에 맞는 쪽을 고르는 것이 가장 확실합니다.

NVIDIA 외의 GPU(AMD 등)로도 쓸 수 있나요?

쓸 수 있는 경우가 있습니다. Ollama 공식 설명에서는 NVIDIA GPU(compute capability 5.0 이상) 외에, AMD GPU는 ROCm v7 또는 Vulkan, Mac은 Apple의 Metal로 빠르게 실행할 수 있다고 합니다. 지원하는 기종과 드라이버 버전은 세세하게 정해져 있으니, 내 GPU가 목록에 있는지 공식 페이지에서 확인하세요.

#초보자#프롬프트

함께 읽으면 좋은 글