CORE / GPU RESOURCE PLATFORM
모델을 고르고,
GPU에 올리고,
바로 대화하세요
오픈소스 LLM에 필요한 자원을 계산하고, 보유 GPU에 배포합니다. 모델 선택부터 승인, 스트리밍 채팅과 API까지 하나의 흐름으로 연결합니다.
CORE 시작하기 배포 과정 먼저 살펴보기 ↓첫 답변까지.
내 배포에서 채팅을 시작할 수 있습니다.
- 모델 가져오기
- Hugging Face URL / ID
- 실행 조건
- 컨텍스트 · 양자화 · 동시 처리
- 자원 배정
- VRAM 예상 → 관리자 승인
- 사용 방법
- 스트리밍 채팅 + API
가진 GPU를
더 잘 쓰는 방법
모델마다 필요한 자원은 다릅니다. 사용자의 실행 조건과 관리자의 자원 현황을 연결합니다.
같은 모델도 컨텍스트 길이와 동시 처리 수에 따라 메모리 요구량이 달라집니다.
가중치와 대화 기록, 실행 공간을 함께 예상해 배포 조건을 정합니다.
관리자는 요청 조건과 GPU 예약량, 실제 사용량을 함께 확인합니다.
승인 이후 준비 상태와 컨테이너 로그까지 같은 서비스에서 살펴봅니다.
남은 자원 안에서 여러 모델을 함께 운영할 수 있습니다.
배포 개수보다 GPU 메모리·연산 자원과 서버 여유를 기준으로 판단합니다.
내 모델이 답변하기까지
사용자의 배포 요청과 관리자의 승인을 거쳐 실제 GPU에서 실행합니다.
모델 찾기
모델 라이브러리에서 선택하거나 Hugging Face URL·저장소 ID로 조회합니다. 모델 구조, 파일 형식, 버전을 먼저 확인합니다.
실행 조건 설정
컨텍스트 길이와 최대 동시 처리 수를 정하고, 원본 또는 양자화된 체크포인트를 선택합니다. 필요한 VRAM 예상치를 확인합니다.
파일 준비와 승인
관리자가 서버에 파일을 준비하면 사용자가 배포를 요청합니다. 관리자는 요청과 남은 자원을 확인해 승인합니다. 준비된 파일은 다음 배포에 재사용합니다.
GPU에서 시작
Node Agent가 컨테이너를 실행합니다. 모델 로딩과 엔진 준비가 끝나면 사용 가능 상태로 전환됩니다. 진행 상태와 로그도 확인할 수 있습니다.
채팅·API로 사용
내 배포 화면에서 답변이 이어지는 스트리밍 채팅을 사용합니다. API 엔드포인트를 복사해 내 애플리케이션에서도 모델을 호출할 수 있습니다.
최초 파일 다운로드와 모델 로딩에는 시간이 필요합니다. Hugging Face에 공개된 모든 모델이 바로 실행되는 것은 아니며, 엔진 호환성과 가용 자원을 확인합니다.
대화 조건에 따라 VRAM도 달라집니다
실제 배포를 확인한 모델로 계산 원리를 체험해 보세요. 이곳은 고정된 모델 정보로 계산하는 예시이며, 실서비스의 현재 자원 상태와는 별개입니다.
어떤 모델을 사용할까요?
배포를 확인한 예시 모델입니다. 서비스 전체 모델 목록은 아닙니다.
얼마나 긴 대화를 처리하나요?
한 요청의 입력과 출력을 합친 최대 토큰 수입니다.
동시에 몇 개를 처리하나요?
모든 요청이 최대 길이를 쓴다고 가정합니다. 실제 응답 속도를 보장하는 값은 아닙니다.
KV Cache는 BF16 / FP16, 원소당 2바이트 기준으로 계산합니다.
Qwen2.5-7B · BF16 · 4K · 동시 1개
예상치이며 실행 성공을 보장하지 않습니다. 실제 서비스에서 현재 가용 자원과 엔진 호환성을 다시 확인합니다.
실제 배포 조건 확인하기 ↗가중치만 더해서는 부족합니다
긴 대화와 여러 요청을 처리할 공간, 추론 엔진이 사용할 여유도 필요합니다.
VRAM은 어떻게 예상하나요?
1. 모델 가중치
고정된 모델 버전의 실제 가중치 파일 크기를 기준으로 시작합니다. AWQ 파일에는 양자화 정보와 원래 정밀도를 유지한 텐서도 있으므로 원본 크기를 단순히 4로 나누지 않습니다.
2. 대화를 기억하는 KV Cache
이 페이지의 Full Attention 예시는 아래 식으로 계산합니다. BF16·FP16은 원소당 2바이트이며, 입력과 출력 토큰을 모두 포함합니다.
컨텍스트 또는 동시 처리 수를 두 배로 늘리면 이 예시의 KV Cache도 두 배로 커집니다. 실제 점유량은 그 순간 처리 중인 토큰 수에 따라 달라집니다.
3. 실행 공간과 안전 여유
가중치와 KV Cache에 추론 엔진의 실행 공간, 안전 여유를 더하고 0.5 GiB 단위로 올림합니다. 이는 예약을 위한 보수적 예상치이며 GPU에서 측정한 최소 사용량은 아닙니다.
4. 실행 가능 여부는 별도로 확인
계산 결과가 작아도 엔진이 모델 구조나 파일 형식을 지원하지 않으면 실행할 수 없습니다. 다른 아키텍처에는 다른 계산이 필요하며, 여러 GPU의 메모리를 단순히 합쳐 사용할 수 있는 것도 아닙니다.
모델 하나가 떠 있어도,
남은 자원에 다음 모델을
배포 개수를 고정해 두는 대신 남은 자원을 확인합니다. 모델마다 필요한 GPU 메모리와 연산 자원, 서버 여유를 충족하면 함께 배포할 수 있습니다.
예약 36 GiB, 남은 공간 36 GiB입니다.
실시간 GPU 현황이 아닌 설명용 시뮬레이션입니다. 실제 승인은 GPU별 여유와 다른 서버 자원도 함께 확인하므로, 이 막대만으로 배포 가능 개수를 확정하지 않습니다.
배포 뒤의 사용과 운영까지
모델을 띄우는 과정과, 띄운 모델을 계속 살펴보는 화면을 함께 제공합니다.
답변을 기다리는 화면도 중요하니까
응답이 생성되는 대로 표시하는 스트리밍 채팅을 제공합니다. 대화 기록을 이어가고, 생성을 멈추거나 답변을 다시 요청할 수 있습니다. 같은 모델을 API로도 연결합니다.
예약한 양과 실제 사용량을 구분합니다
관리자 대시보드에서 GPU 메모리 예약량과 실제 사용량, 이용률과 상태를 살펴봅니다. 상태 정보의 갱신 시점도 함께 확인할 수 있습니다.
준비한 파일은 다음 배포에 재사용
모델 버전과 파일 형식을 확인해 준비합니다. 준비된 같은 버전의 파일을 재사용해 반복 다운로드를 줄입니다. 컨텍스트와 동시 처리 조건은 배포마다 정합니다.
요청부터 종료까지 상태를 확인
사용자는 내 배포 상태와 사용 기한을 확인하고, 관리자는 배포 요청을 검토합니다. 시작 과정이나 실행 중 문제가 생기면 상태 메시지와 컨테이너 로그를 확인할 수 있습니다.
실행을 확인한 것부터, 하나씩 넓혀갑니다
라이브러리에 검색되는 모델과 실제 배포를 검증한 모델은 구분합니다.
업데이트 · 검증 당시 구성 기준
배포 승인 → 준비 완료 → 채팅
Qwen2.5-7B-Instruct BF16, Qwen2.5-7B-Instruct-AWQ, SmolLM2-1.7B-Instruct로 배포와 스트리밍 답변을 확인했습니다. 조건에 맞춘 메모리 예약과 여러 모델의 동시 배포도 검증했습니다.
모든 URL이 곧 실행 가능은 아닙니다
새 모델의 구조·파일 형식·엔진 호환성과 가용 자원을 확인합니다. 새 파일은 관리자 준비가 필요하며, 모델이나 실행 조건을 바꾸면 추가 검증이 필요할 수 있습니다.
다음으로 준비할 기능
- 모델 지원 확대다양한 아키텍처와 체크포인트를 검증하고, 새 모델 파일 준비 과정을 더 간편하게 만듭니다.
- 터미널·학습 환경추론 이외의 작업을 위한 터미널과 Python 환경, 파인튜닝·학습 기능을 준비합니다.
- 운영 기능 확장사용량 기반 과금과 유휴 자원의 자동 재배분 등 운영 기능을 단계적으로 확장할 계획입니다.
팀 CORE
2026 경북 SW 성장기업 육성지원사업
부스에서 더 자세히 보여드립니다
모델 조건을 고르고 배포를 요청한 뒤, GPU에서 실행된 모델과 대화하는 과정을 직접 보여드립니다. 부스에서 팀원에게 시연을 요청해 주세요.
CORE 서비스 둘러보기 ↗2026h100@gmail.com →