로컬 환경에 Llama 3 설치하기

 

로컬 환경에 Llama 3를 설치하는 작업을 시작했다.

처음에는 도커로 설치할까 고민했는데,

나는 딱히 환경 격리가 필요없는데 메모리를 더 많이 사용한다는 표를보고 네이티브 설치를 선택했다. 

 

 

🖥 로컬(네이티브) 설치 vs 🐳 Docker 설치 메모리 비교

실행 방식메모리 사용량 (RAM)추가적인 오버헤드

로컬(네이티브) 실행	모델 크기에 따라 다름 (예: 7B 모델은 최소 8GB, 13B 모델은 최소 16GB 필요)	최소한의 시스템 리소스 사용
Docker 실행	네이티브 실행 + 약간의 추가 메모리 사용	컨테이너 오버헤드 (약 200~500MB 추가)

👉 결론: 성능이 중요하면 네이티브 설치, 환경 격리가 필요하면 Docker! 🚀

 

---

 

 

http://www.ollama.com/

Ollama

 

Llama 공식 사이트에서 다운로드를 진행했는데, 

여기서 재미있는 점을 발견했다! 처음에 받은 파일은 단순히 Llama 서버(Ollama 자체(실행 환경))였고, 

그 위에 실제 Llama 모델을 추가로 설치해야 했다.

 

 

💡 정리:

• **Ollama 자체는 “AI 모델을 실행할 수 있는 플랫폼”**

• Ollama를 설치했다고 해서 바로 AI가 작동하는 게 아니라, 추가로 모델을 다운로드해야 한다.

• 그래서 ollama pull <모델명> 명령어로 원하는 모델을 다운로드한다.

 

🎯 Ollama 설치하면 포함되는 것?

1. Ollama 실행 환경 (서버 역할)

• Ollama는 기본적으로 AI 모델을 실행하는 플랫폼 & 직접 AI 모델을 만들거나 실행할 수 있도록 지원하는 런타임 환경

2. 기본적으로 모델은 포함되지 않음

• Ollama를 설치했다고 해서 GPT나 Llama 같은 모델이 바로 설치된 건 아님!

• 모델은 별도로 다운로드해야 함. (ollama pull llama3 같은 명령어 사용)

 

 

📌 1. 설치된 모델 확인하기:

ollama list

• 만약 아무것도 안 나왔다면, 모델을 다운로드 해야한다. 

 

📌 2. 사용할 모델 다운로드:

• Llama3 모델을 쓰려면:

ollama pull llama3

 

• dnotitia/dna 모델이 필요하면:

ollama pull dnotitia/dna

 

이렇게 명령어로 댕겨서 받거나, 

비교를 해보려면  올라마 사이트에서 좌측상단에 Model이 있다. 

골라서 보고 댕겨서 받으면 된다. 

https://www.ollama.com/search

Ollama

 

 

 

📌 3. 모델 실행:

• 예를 들어 Llama3를 실행하려면:

ollama run llama3

 

• 그러면 이제 AI가 작동한다.

설치 과정에서 알게 된 점들을 정리해보니 다른 분들에게도 도움이 될 것 같아서 포스팅으로 남겨본다. 

다음에는 실제 프로젝트에 적용하면서 겪은 경험도 공유해볼 예정이다!