Blog

내 컴퓨터에서 실행할 수 있다는 양자화 모델을 이용해 보기로 했다.

프로그램이 추천해 준 모델은 medgemma-1.5-4b-it 이다.

google/medgemma-1.5-4b-it · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

이것을 그대로 이용할 수는 없다. 다른 사람들이 양자화시켜둔 것을 이용해야 한다고 한다.

마지막 중 Quantizations의 33 models를 클릭한다.

첫 번째를 선택해 본다.

Use this model 에서 ollama를 선택 한 후 모델을 지정한다. 처음 AI가 추천해 준 ollama run hf.co/unsloth/medgemma-1.5-4b-it-GGUF:Q5_K_M 를 이용해 본다.

docker exec -it ollama ollama run hf.co/unsloth/medgemma-1.5-4b-it-GGUF:Q4_K_M

Open WebUI 에서 파일을 읽어와도 된다. CLI 환경에서는 다음처럼 이용할 수 있다.

docker exec -it ollama ollama run hf.co/unsloth/medgemma-1.5-4b-it-GGUF:Q4_K_M "Please read this X-ray /root/.ollama/001_00001.jpg"

그럼 이렇게 결과가 나온다.

whichllm – 내 하드웨어에서 실제로 돌아가고 최고 성능을 내는 로컬 LLM 찾기 | GeekNews

파라미터 수가 아닌 실측 벤치마크 기반으로 사용자 하드웨어에 맞는 로컬 LLM을 자동 추천하는 CLI 도구GPU/CPU/RAM을 자동 감지하고 HuggingFace 모델 중 시스템에 맞는 상위 모델을 랭킹으로 제시NVIDIA, AMD, Apple Silicon, CPU-only 모두 지원VRAM에 맞는 가장 큰 모델이 아니라, 그 중 실제로 가장 좋은 모델

내 컴퓨터에서도 해봤다. 그랬더니 Qwen3-8B을 1번으로 추천했다. 내 RTX 3070 에서도 된다고 하니 Gemini에서 방법을 물어봐서 해보기로 했다.

docker run -d --gpus=all \
  -v ./ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

이렇게 설치하고

# Qwen3-8B 실행 (자동 다운로드 포함)
docker exec -it ollama ollama run qwen3:8b

이렇게 하면 된다.

이거 신세상이다. 이용하기에 따라서는 매우 유용할 수도 있겠다.