DeepSeek 로컬 설치 사용법|핵심 기능부터 실전 활용까지

회사 기밀 및 개인정보 유출 걱정 없는 PC 내부 전용 추론 AI 구축 4단계

AI Pick Lab · AI를 고르고, 써보고, 비교합니다.
DeepSeek 로컬 설치 사용법|핵심 기능부터 실전 활용까지
⚡ 30초 요약
  • 외부 서버로 데이터가 전송되지 않는 PC 내부 전용(Local) AI 구축 방법을 다룹니다.
  • Ollama를 이용해 DeepSeek R1 모델을 다운로드하고 Chatbox UI로 간편하게 제어할 수 있습니다.
  • 내 PC 사양(VRAM·RAM)에 맞는 최적의 매개변수(1.5b~32b) 선택 기준을 제공합니다.
  • 보안이 중요한 민감 문서 분석, 사내 비즈니스 기획서, 코드 검토에 즉시 활용할 수 있습니다.
💡 한 줄 핵심 · DeepSeek R1을 Ollama와 Chatbox 기반으로 로컬 설치하면 비용 발생과 데이터 유출 위험 없이 나만의 고성능 추론 AI 엔진을 완전 소유할 수 있습니다.
이 글이 특히 필요한 사람
  • ✓ 보안 문제로 클라우드 AI 서비스 사용이 금지된 기업 직장인
  • ✓ 개인 자산 정보나 민감한 개인정보 데이터를 AI로 분석하려는 사용자
  • ✓ 인터넷 연결이 불안정한 환경에서도 상시 구동되는 AI 아시스턴트가 필요한 분
  • ✓ 무료로 최신 추론(Reasoning) AI 모델을 자유롭게 테스트하고 싶은 개발자 및 기획자

왜 지금 '로컬 AI'와 DeepSeek R1에 주목해야 하는가

ChatGPT, Claude, Gemini 같은 클라우드 기반 AI 서비스는 압도적인 추론 성능을 제공하지만, 사용자가 입력하는 대화 내용과 업로드하는 문서 데이터가 외부 데이터센터로 전송되어 학습에 활용될 가능성이 있다는 구조적 한계가 있습니다. 특히 기업의 내부 보안 가이드라인을 준수해야 하는 직장인, 미공개 소스코드를 다루는 개발자, 개인의 민감한 금융·계약·의료 데이터를 다루는 전문가에게 클라우드 AI 사용은 항상 보안 리스크를 동반합니다.

최근 AI 생태계에 큰 충격을 준 DeepSeek R1은 상용 유료 AI 모델 수준의 단계별 논리 추론(Chain-of-Thought, CoT) 능력을 갖춘 오픈소스 AI 모델입니다. 특히 DeepSeek R1의 고성능 추론 알고리즘을 타겟 언어 모델에 이전하는 '증류(Distillation)' 기법을 통해 탄생한 DeepSeek-R1-Distill 시리즈는 일반 보급형 PC나 노트북 환경에서도 독립적으로 구동할 수 있도록 최적화되었습니다.

내 컴퓨터의 로컬 환경에서 AI를 실행하면 다음과 같은 명확한 실무적 이점을 얻을 수 있습니다.

  • 완벽한 데이터 주권 및 보안: 네트워크 연결을 차단한 상태에서도 모델이 동작하므로 사내 기획서, 민감 개인정보, 소스코드가 외부로 유출될 가능성이 0%입니다.
  • 고정 비용 절감: 매월 지불하는 SaaS 형태의 AI 구독료(월 20달러 이상) 없이, 온프레미스 자원을 활용해 평생 무료 제공 범위는 공식 정책 확인이 필요한로 사용할 수 있습니다.
  • 트래픽 제약 해소: 클라우드 서비스의 피크 시간대 속도 저하나 질문 횟수 제한(Rate Limit) 없이 지속적인 과업 수행이 가능합니다.

1. 준비 사항 및 PC 사양별 모델 선택 기준

로컬 AI를 원활하게 구동하기 위한 핵심 자원은 그래픽카드 메모리(VRAM)와 시스템 메모리(RAM)입니다. 모델의 파라미터(매개변수) 크기와 양자화(Quantization) 수준에 따라 요구 사양이 크게 달라지므로, 본인의 하드웨어 스펙을 정확히 파악하고 적절한 모델을 선택해야 합니다.

모델 명칭 기기 스펙 (VRAM / RAM) 실제 파일 크기 추천 HW 환경 주요 특징 및 권장 용도
DeepSeek-R1-Distill-Qwen-1.5B VRAM 2GB+ / RAM 8GB 약 1.1GB 저사양 사무용 노트북, 내장 그래픽 PC 매우 빠른 초당 토큰 생성, 기초 문맥 요약, 단순 텍스트 분류
DeepSeek-R1-Distill-Qwen-7B VRAM 6GB+ / RAM 16GB 약 4.7GB RTX 3060 / 4060, Apple M1/M2/M3 (16GB) [가장 추천] 속도와 논리력의 최적 균형, 문서 요약, 이메일 작성
DeepSeek-R1-Distill-Qwen-14B VRAM 12GB+ / RAM 32GB 약 9.0GB RTX 3080/4070 Ti 이상, Apple Mac (32GB+) 우수한 한글 이해도와 복잡한 논리 추론, 중장문 보고서 분석 및 코드 생성
DeepSeek-R1-Distill-Llama-70B VRAM 48GB+ / RAM 64GB+ 약 43GB 다중 GPU 워크스테이션, Mac Studio (64GB+) 상용 유료 모델급 심층 논리 추론, 수식 계산 및 복잡한 비즈니스 전략 수립

하드웨어 선택 가이드: 일반적인 비즈니스 업무 및 개인 생산성 용도로는 7B 또는 14B 모델(Q4_K_M 양자화버전 기준)이 가장 적합합니다. Nvidia GPU 사용자는 CUDA 가속을 통해 빠른 응답 속도를 얻을 수 있으며, Apple Silicon Mac(M 시리즈) 사용자는 통합 메모리(Unified Memory) 구조를 활용해 VRAM 용량의 한계를 효과적으로 극복할 수 있습니다.

STEP 1: Ollama 설치 및 DeepSeek R1 모델 다운로드

Ollama는 복잡한 오픈소스 LLM을 내 컴퓨터에 환경설정 없이 간편하게 구동할 수 있도록 돕는 C++ 기반의 경량화 AI 엔진입니다.

1. Ollama 설치 파일 다운로드 및 설치

Ollama 공식 웹사이트에 접속하여 본인의 운영체제(Windows, macOS, Linux)에 맞는 설치 프로그램을 다운로드합니다. Windows 환경의 경우 설치 파일을 실행하고 가이드를 따라 진행하면 백그라운드 서비스 형태로 자동 등록됩니다.

※ 최신 HW 가속 기능(CUDA, Metal)을 정상적으로 이용하기 위해 그래픽카드 드라이버를 최신 상태로 업데이트하는 것을 권장합니다. 공식 버전 정보는 Ollama 공식 웹페이지를 참조하세요.

2. 터미널(명령 프롬프트) 실행 및 명령 구동

Windows는 시작 버튼 - cmd 또는 PowerShell을 입력하여 실행하고, macOS는 Terminal 앱을 실행합니다.

3. 모델 다운로드 및 실행 명령어 입력

터미널 입력창에 원하는 모델 스펙에 맞추어 아래 명령어를 입력하고 엔터를 누릅니다.

# 가장 범용적인 7B 모델 구동 시 ollama run deepseek-r1:7b # 고성능 14B 모델 구동 시 ollama run deepseek-r1:14b # 저사양 PC용 1.5B 모델 구동 시 ollama run deepseek-r1:1.5b

명령어를 실행하면 초기 1회에 한해 해당 모델의 가중치 파일(Weight File)을 자동으로 다운로드하며, 완료 즉시 CLI(Command Line Interface) 환경에서 AI와 실시간 대화가 시작됩니다.

# Ollama 주요 터미널 관리 명령어 ollama list # 현재 내 PC에 다운로드된 모델 목록 확인 ollama ps # 현재 메모리(VRAM/RAM)에 상주하여 구동 중인 모델 확인 ollama rm [모델명] # 사용하지 않는 모델 삭제하여 용량 확보

STEP 2: Chatbox UI 연동하여 웹 인터페이스 구축

터미널 화면에서의 대화는 이미지 전송이나 과거 대화 이력 관리가 어렵습니다. ChatGPT와 동일한 사용자 친화적 그래픽 UI를 구축하기 위해 오픈소스 데스크톱 클라이언트인 Chatbox를 연동합니다.

  1. Chatbox 앱 설치: Chatbox 공식 다운로드 페이지에서 사용 중인 OS에 맞는 데스크톱 앱 설치 파일을 다운로드하여 설치합니다.
  2. 설정(Settings) 메뉴 진입: 설치 완료 후 Chatbox를 실행하고, 좌측 하단의 톱니바퀴 아이콘(Settings)을 클릭합니다.
  3. Model Provider 설정: 제공자 목록 중 Ollama를 선택합니다.
  4. API Host 및 Model 선택:
    • API Host 주소: 기본값인 http://127.0.0.1:11434를 그대로 유지합니다.
    • Model 목록: Dropdown 메뉴를 클릭하여 STEP 1에서 받았던 deepseek-r1:7b 또는 deepseek-r1:14b를 선택합니다.
  5. 설정 저장: 'Save' 버튼을 누르면 설정이 마무리됩니다.

대안 UI 옵션: Docker 사용이 가능한 고급 사용자의 경우, 웹 브라우저 기반으로 RAG(문서 검색 연동), 다중 사용자 계정, 인터넷 검색 연동 기능을 제공하는 Open WebUI를 설치하여 나만의 사내 AI 포털 형태로 확장할 수도 있습니다.

STEP 3: 로컬 AI 실무 활용 시나리오 3가지

클라우드 AI에 입력하기 꺼려지는 보안 민감 데이터를 로컬 AI로 안전하게 처리하는 실전 프롬프트 구조와 활용 방법입니다.

시나리오 A: 사내 미공개 신사업 기획안 논리 및 리스크 검토

외부 유출 시 기업 경쟁력에 타격을 줄 수 있는 신제품 개발 계획서 및 내부 전략 문서를 분석할 때 활용합니다.

[역할 부여] 당신은 20년 차 기업 전략 컨설턴트이자 리스크 관리 전문가입니다. 아래 제공된 사내 미공개 신사업 기획서 초안을 읽고, 단계별 추론(Thinking) 과정을 거쳐 논리적 허점과 개선점을 제시하세요. [분석 요구사항] 1. 본 기획안의 사업성 및 논리적 오류 3가지 (이유와 함께 작성) 2. 예상되는 실행 단계별 핵심 리스크 및 현실적인 대처 방안 3. 경영진 보고를 위한 핵심 요약 (3줄 이내) [기획서 초안 내용] (외부 유출이 불가능한 사내 기획서 텍스트 입력)

시나리오 B: 개인 민감 금융 및 부동산 계약서 독소조항 분석

주민등록번호, 금융 거래 내역, 자산 현황이 포함된 문서의 보안을 유지하면서 계약서의 불공정 조항을 선별합니다.

[역할 부여] 당신은 부동산 및 계약 전문 변호사입니다. 아래 계약서 조항을 검토하여 임차인(또는 계약자)에게 불리하게 작용할 수 있는 독소 조항을 찾아내고, 수정 권고안을 제시하세요. [검토 기준] - 현행 법률 기준 상항 위반 여부 - 모호한 문언으로 인해 분쟁 가능성이 높은 조항 - 특약 사항 중 일방적으로 불리한 조건 [계약서 텍스트] (개인정보가 포함된 계약 조항 입력)

시나리오 C: 사내 독자 프로그래밍 소스코드 보안 점검 및 리팩토링

사내 기밀 알고리즘이나 API 키, 데이터베이스 스키마가 포함된 백엔드 코드를 외부 AI에 전송하지 않고 로컬에서 버그를 수정합니다.

[역할 부여] 당신은 수석 소프트웨어 아키텍트이자 시큐어 코딩 전문가입니다. 아래 작성된 내부 서비스 소스코드를 검토하고 다음 사항을 수행하세요. [작업 지시] 1. 코드 내 잠재적인 메모리 누수 또는 보안 허점(예: SQL Injection, 하드코딩된 값) 지적 2. 가독성 및 처리 속도를 개선하기 위한 리팩토링 코드 제시 3. 각 변경 사항에 대한 기술적 이유 설명 [소스코드] (사내 전용 개발 소스코드 입력)

STEP 4: 한글 답변 품질 최적화 및 문제 해결 (Troubleshooting)

DeepSeek R1 모델은 추론 과정(CoT, <think> 태그 내부)에서 중국어나 영어를 주로 사용하거나, 한글 답변 시 어색한 문맥이 등장할 수 있습니다. 다음 설정을 통해 품질을 극대화할 수 있습니다.

1. System Prompt를 통한 한글 출력 강제

Chatbox 설정 메뉴의 System Prompt 상자에 아래 문구를 입력하여 모델의 기본 동작 규칙을 고정합니다.

"You are a helpful and professional assistant. Please conduct your internal reasoning steps clearly, but ALWAYS provide your final response in natural and fluent Business Korean. Do not mix Chinese characters in the final output."

2. GPU 오프로딩(Offloading) 및 성능 확인

모델 추론 속도가 지나치게 느리다면, AI 모델이 GPU VRAM이 아닌 CPU RAM으로 처리되고 있는지 확인해야 합니다. 터미널에서 다음 명령을 실행합니다.

ollama ps

출력 항목 중 PROCESSOR 열에 100% GPU로 표시되는지 확인합니다. 만약 100% CPU 또는 일부만 GPU에 할당되어 있다면 모델 크기를 한 단계 낮추거나(예: 14B -> 7B) 그래픽 드라이버 상태를 점검해야 합니다.

3. 완전 오프라인 환경 테스트

설치가 완료된 후 PC의 랜선을 뽑거나 Wi-Fi를 끈 후 질문을 던져보세요. 정상적으로 추론 과정(Thinking)을 거쳐 완벽한 답변을 생성하는 것을 확인하면, 사내 보안 규정을 준수하는 안전한 AI 환경이 구축되었음을 입증할 수 있습니다.

로컬 AI의 현실적 한계와 적합하지 않은 유스케이스

로컬 AI가 모든 상황에서 클라우드 AI보다 우수한 것은 아닙니다. 한계를 명확히 인지하고 적절한 유스케이스에 배치해야 합니다.

  • 멀티모달 기능의 부재: 본 가이드에서 설명한 DeepSeek-R1 Distill 모델은 텍스트 전용 모델입니다. 이미지 분석, PDF 내 시각적 차트 인식, 음성 인식 등의 작업에는 적합하지 않습니다.
  • 실시간 정보 탐색 불가: 로컬에 다운로드된 가중치 파일 기반으로 동작하므로, 웹 브라우징(RAG 시스템 별도 구축 제외)을 통한 최신 뉴스 및 실시간 증시 정보 검색이 불가능합니다.
  • 하드웨어 한계에 따른 속도 제약: 초거대 문맥(32k 토큰 이상의 긴 문서)을 한 번에 처리할 때 16GB 이하의 일반 PC에서는 메모리 스왑 현상이 발생하여 응답 속도가 현저히 떨어질 수 있습니다.

자주 묻는 질문 (FAQ)

Q1. 상업적 이용 및 개인 사용 시 라이선스 비용이 발생하나요?

아닙니다. Ollama 엔진, Chatbox 클라이언트, DeepSeek R1 및 Distill 모델 시리즈는 오픈소스 라이선스(MIT/Apache 2.0 등)를 따르므로 개인 및 기업 사용자 모두 비용 지불 없이 무료로 사용할 수 있습니다.

Q2. 인터넷 연결이 전혀 없는 폐쇄망(Air-Gapped) 환경에서도 설치할 수 있나요?

가능합니다. 인터넷이 연결된 환경에서 Ollama 설치 파일과 모델 가중치 파일(매니페스트 및 붉은색 blob 파일)을 미리 다운로드한 후, USB 등의 이동식 저장매체를 통해 폐쇄망 PC의 Ollama 모델 저장 경로(~/.ollama/models 또는 C:\Users\[사용자명]\.ollama\models)로 복사하면 완전히 격리된 내부 망에서도 구동할 수 있습니다.

Q3. ChatGPT-4o나 Claude 3.5 Sonnet과 비교했을 때 성능 수준은 어느 정도인가요?

로컬 PC에서 구동하는 7B~14B 경량화 모델은 유료 클라우드 AI 서비스 전체의 방대한 지식 체계에는 미치지 못합니다. 하지만 **보안이 확보된 공간에서의 문서 요약, 복잡한 논리 추론, 코드 검토, 데이터 구조화** 분야에서는 유료 AI 서비스에 육박하는 뛰어난 가성비와 안정성을 제공합니다.

Q4. 답변 생성 중 RAM 부족 에러가 발생하거나 PC가 멈추면 어떻게 해야 하나요?

PC의 VRAM 및 RAM 용량을 초과하는 모델을 로드했을 때 발생하는 현상입니다. ollama rm deepseek-r1:14b 명령어로 현재 모델을 제거한 후, 용량이 작은 deepseek-r1:7b 또는 deepseek-r1:1.5b 모델로 변경하여 실행하시기 바랍니다.

Q5. 로컬 DeepSeek R1에 내 사내 문서들을 학습(RAG)시켜 검색하게 만들 수 있나요?

네, 가능합니다. Chatbox의 지식베이스 기능이나, **Open WebUI**, **AnythingLLM** 같은 프론트엔드 도구를 연동하면 내 로컬 PC에 보관된 PDF, TXT, DOCX 문서들을 벡터 데이터베이스로 전환하여 외부 유출 없이 나만의 '사내 문서 전용 AI 검색 엔진'을 구축할 수 있습니다.

🧪 AI Pick Lab Verdict

데이터 보안이 최우선이거나 월 결제 비용 없이 내 PC에서 무제한 작동하는 AI를 원한다면 Ollama + DeepSeek R1 조합은 현재 가장 완벽한 선택지입니다.

BEST FOR
보안 문서와 사내 기획서를 자주 다루는 직장인개인 자산 및 계약 데이터를 정리하는 개인 사용자오프라인 환경에서 작동하는 AI 환경 구축이 필요한 연구자 및 개발자
👉 다음 행동

Ollama 공식 사이트에 접속해 설치 파일을 받고, 터미널에서 'ollama run deepseek-r1:7b' 명령어를 직접 입력해 보세요.

최신 정보 확인 포인트

AI 서비스의 가격·기능·정책은 바뀔 수 있습니다. 아래 항목은 결제나 중요한 업무 적용 전에 공식 안내에서 한 번 더 확인하는 것이 좋습니다.

  • Ollama 공식 문서의 실행 명령어 사양 확인
  • DeepSeek R1 공식 GitHub의 Distill 모델 용량 및 라이선스 확인
  • Chatbox UI 최신 버전의 Ollama API 연동 가이드 확인

공식 자료 / 최신 정보 확인

아래 링크는 이 글에 실제로 등장한 주요 서비스의 공식 안내입니다. 가격·정책·기능은 적용 전에 최신 내용을 다시 확인하세요.

AI Pick Lab은 기능과 활용법을 쉽게 비교·정리하는 콘텐츠를 제공합니다. 가격·정책·기능은 변경될 수 있으므로 중요한 결제 또는 업무 적용 전에는 해당 서비스의 최신 공식 안내를 함께 확인하세요.

댓글

이 블로그의 인기 게시물

Grammarly vs DeepL Write 영문 교정 AI 비교|비즈니스 이메일·보고서 톤 조절과 비용 분석

Genspark vs Perplexity 비교|AI 검색부터 맞춤형 보고서·스파크페이지 생성 실무 가이드

Dify vs Coze 비교|노코드 AI 에이전트 빌더 기능·요금제·LLM 연동 실전 가이드