LLM GPU 요구사항 계산기

mir.so에서 제공하는 서비스입니다.
모델 파라미터 수에 따른 GPU 메모리 요구사항과 필요 GPU 개수를 계산해보세요.

모델 파라미터

파라미터 수를 입력하거나 선택해주세요.
파라미터 수는 모델 크기를 나타냅니다. 예) llama3 7B 모델은 7B 파라미터를 가집니다.

대상 GPU

대상 GPU를 추가해주세요.
대상 GPU는 모델을 실행할 수 있는 GPU 혹은 도입할 수 있는 GPU를 선택해주세요.

RTX 시리즈

Data Center

직접 입력

선택된 GPU 목록

선택을 완료하셨다면, 계산하기를 눌러주세요.

필요 메모리 계산 결과

대상 모델: -B 파라미터

GPU 모델	VRAM	필요 GPU 개수
GPU 모델	VRAM	32-bit 기본모델 필요 메모리: 0GB	16-bit 양자화 필요 메모리: 0GB	8-bit 양자화 필요 메모리: 0GB	4-bit 양자화 필요 메모리: 0GB