docker로 ollama model 2개 실행시키는 법

Docker를 사용하여 Ollama 모델 두 개를 실행을해야했다. 

내가 사용하는 model은 임베딩 지원을 안해서 두개로 

 

mxbai-embed-large (임베딩지원)와 llama3.1:8b 모델(text 생성)을 두개 실행시켜야했다. 

---

1. Docker 설치:
   • Docker가 설치되어 있지 않다면 Docker 공식 웹사이트에서 설치
2. Ollama Docker 이미지 다운로드:
   • 터미널을 열고 Ollama Docker 이미지를 다운로드

    docker pull ollama/ollama
   

3. Docker 컨테이너 실행:
   • 두 개의 Docker 컨테이너를 실행하여 각 모델을 실행한다. 먼저 mxbai-embed-large 모델을 실행

    docker run -d --name ollama-mxbai -v ollama:/root/.ollama -p 11434:11434 ollama/ollama
    docker exec -it ollama-mxbai ollama pull mxbai-embed-large

   • 다음으로 llama3.1:8b 모델을 실행

    docker run -d --name ollama-llama -v ollama:/root/.ollama -p 11435:11434 ollama/ollama
    docker exec -it ollama-llama ollama pull llama3.1:8b
    docker exec -it ollama-llama ollama run llama3.1:8b
   

4. 모델 사용:
   • 각 모델이 실행된 후, API를 통해 모델과 상호작용할 수 있다.
   • 예를 들어, mxbai-embed-large 모델에 임베딩 요청을 보내려면 다음과 같이 진행:

    curl -X POST http://localhost:11434/api/embeddings -d '{"model": "mxbai-embed-large", "prompt": "Represent this sentence for searching relevant passages: The sky is blue because of Rayleigh scattering"}'
   

   • llama3.1:8b 모델에 텍스트 생성 요청을 보내려면 다음과 같이 진행:

    curl -X POST http://localhost:11435/api/generate -d '{"model": "llama3.1:8b", "prompt": "Tell me a story about a brave knight"}'
   

이렇게 하면 Docker를 사용하여 Ollama 모델 두 개를 동시에 실행하고 사용할 수 있다.

References

[1] mxbai-embed-large - Ollama

[2] Embedding models · Ollama Blog

[3] mxbai-embed-large:v1 - Ollama

[4] Ollama is now available as an official Docker image

[5] llama3.1:8b