DeepSeek R-1 우분투에서 써보기 feat.Ollama

DeepSeek에 대해서 모른다면 밑에 글 빠르게 훑어보자

딥시크(DeepSeek)에 대해서 빠르게 아라보자 (요약본)

딥시크(DeepSeek)에 대해서 빠르게 아라보자 (요약본)

 

 

로컬에서 실행하기

DeepSeek R-1을 로컬에서 실행하기 위해서는 Ollama라는 도구를 사용할 것입니다.

 

https://ollama.com

 

Ollama는 대형 언어 모델(LLM)을 로컬 컴퓨터에서 실행할 수 있게 해주는 무료 오픈소스 도구로, macOS, Linux, Windows에서 사용할 수 있습니다.

 

Ollama 공식 웹사이트로 가서 "Download" 버튼을 클릭하고 설치하세요.

https://ollama.com/download

curl -fsSL https://ollama.com/install.sh | sh

 

ollama 설치

 

설치가 완료되면 터미널을 열고 다음 명령어를 실행해 성공적으로 설치되었는지 확인합니다:

ollama -v

 

ollama -v

반응형

정상적으로 설치되었다면, 오류 대신 Ollama의 버전 번호가 표시될 것입니다.

 

 

모델 탭에서 "deepseek"라는 키워드로 검색하면 "deepseek-r1" 모델이 첫 번째로 나타납니다.

 

deepseek search on ollama

 

이를 클릭하면 여러 모델 크기 옵션이 보이는데, 5억 개부터 671억 개의 파라미터까지 다양한 크기가 있습니다. 큰 모델은 더 강력한 GPU에서 실행해야 합니다.

deepseek models on ollama

 

8억 개의 파라미터를 가진 모델을 다운로드하려면 다음 명령어를 실행하세요:

ollama run deepseek-r1:8b

다운로드가 시작되며 (약 4.9GB) 충분한 디스크 공간을 확보해야 합니다.

다운로드가 완료되면 로컬에서 바로 모델을 실행할 수 있으며, 즉시 대화가 가능합니다.

 

installing deepseek img

 

 

모델 실행 예시:

chat with deepseek on local

프롬프트: Hello can you tell me about yourself?
응답: Hello! I'm DeepSeek-R1-Lite-Preview, an AI assistant created by the Chinese company DeepSeek. My purpose is 
to provide information, assist with tasks, and help you with various queries. How can I help you today?

 

 

인터넷에 연결되어 있지 않아도 여전히 잘 작동합니다. 하지만 연결된 상태에서도 웹을 검색할 수는 없습니다.

Ollama가 할 수 있는 다른 일들:

• LLaMA2, Phi 4, Mistral, Gemma 2 등의 LLM을 로컬에서 실행
• 사용자 맞춤형 LLM 생성 및 공유
• 모델 가중치, 구성, 데이터를 단일 패키지로 번들
• GPU 사용 최적화

GPU와 VRAM 요구사항

DeepSeek-R1의 VRAM 요구사항은 모델 크기, 파라미터 수, 양자화 기술 등에 따라 다릅니다. 여기에는 DeepSeek-R1과 그 파생 모델들에 대한 VRAM 요구사항과 권장 GPU가 포함됩니다.

 

마무리

현재 DeepSeek이 사용자 데이터를 어떻게 처리하는지에 대한 명확한 정보는 없습니다. 데이터 프라이버시가 중요한 걱정거리라면 로컬에서 모델을 실행하는 것이 좋은 대안이 될 수 있습니다. 웹이나 모바일 앱을 사용하는 것이 더 편리할 수 있지만, 데이터의 처리 방식에 대해 신경 쓴다면 로컬 실행을 고려해보세요.

 

DeepSeek 모델은 하드웨어 성능이 부족한 기기에서도 잘 작동하도록 설계되었습니다. 큰 모델은 분산 GPU 설정을 필요로 하지만, 정제된 모델은 적은 VRAM을 가진 GPU에서도 원활히 실행됩니다.

 

터미널 사용이 어려운 경우, Gradio나 Chatbox AI 같은 도구를 사용해 간단한 UI를 추가할 수 있습니다. 이 부분은 기회가 된다면 다음에 글에서 더 다룰 예정입니다.