WeLoveDoctor

whichllm

Written by

byun1114

in

whichllm – 내 하드웨어에서 실제로 돌아가고 최고 성능을 내는 로컬 LLM 찾기 | GeekNews
파라미터 수가 아닌 실측 벤치마크 기반으로 사용자 하드웨어에 맞는 로컬 LLM을 자동 추천하는 CLI 도구GPU/CPU/RAM을 자동 감지하고 HuggingFace 모델 중 시스템에 맞는 상위 모델을 랭킹으로 제시NVIDIA, AMD, Apple Silicon, CPU-only 모두 지원VRAM에 맞는 가장 큰 모델이 아니라, 그 중 실제로 가장 좋은 모델

내 컴퓨터에서도 해봤다. 그랬더니 Qwen3-8B을 1번으로 추천했다. 내 RTX 3070 에서도 된다고 하니 Gemini에서 방법을 물어봐서 해보기로 했다.

docker run -d --gpus=all \
  -v ./ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

이렇게 설치하고

# Qwen3-8B 실행 (자동 다운로드 포함)
docker exec -it ollama ollama run qwen3:8b

이렇게 하면 된다.

이거 신세상이다. 이용하기에 따라서는 매우 유용할 수도 있겠다.

More posts