SCALE OUT, TOGETHER
분산 슈퍼컴퓨터
한 번에 더 많은 작업을. 단계적으로 더 큰 가능성을.
이 다이어그램은 수정 가능한 SVG입니다. 구현·검토 범위는 아래 문서와 검증 기록을 함께 확인하세요.
먼저, 독립 작업의 병렬 처리
요청 A를 NODE 1에, 요청 B를 NODE 2에 배정합니다. 모델이 각 NODE 안에서 실행되므로 통신 의존도를 줄일 수 있습니다. 초기에는 작업 종류·메모리·예상 시간·데이터 위치를 기준으로 한 독립 작업 분배를 우선합니다.
하나의 큰 작업을 함께 처리하는 방식
한 모델을 여러 GPU나 NODE에 나눠 실행하려면 엔진의 모델 병렬화 지원, 통신 토폴로지, 지연과 대역폭 조건이 필요합니다. 일반 인터넷 PC 간 분산 추론은 장기 연구 항목이며 현재 구현 완료로 표시하지 않습니다.
두 방식의 차이
| 비교 | 독립 작업 병렬 처리 | 단일 작업 공동 처리 |
|---|---|---|
| 작업 단위 | 서로 독립된 요청·배치 | 한 모델 또는 밀접한 계산 |
| 통신 | 입력 전달과 결과 수신 중심 | 중간 상태의 빈번한 교환 가능 |
| 메모리 | 각 NODE 내부에서 확보 | 엔진의 명시적 분할 필요 |
| 초기 우선순위 | 우선 개발 | 장기 연구 |
| 확장 효과 | 조건이 맞으면 총 처리 용량 확대 | 네트워크 조건에 따라 이득 제한 |
전체 자원 합계의 해석
합산 코어 수·VRAM·RAM은 네트워크 인벤토리입니다. 단일 프로세스가 전부 사용할 수 있는 공유 메모리를 뜻하지 않습니다. 아래 모형은 균일한 독립 작업을 가정한 교육용 계산이며 실제 성능 예측이 아닙니다.
독립 작업으로 이해하는 확장
동일한 NODE가 각자 독립 작업을 수행한다고 가정합니다. 실제 벤치마크나 성능 예측이 아닙니다.
4동시 독립 작업 · 가정
64GB16GB 장치 인벤토리 합계 · 가정
16GB한 장치의 VRAM · 합쳐지지 않음
DESIGN DECISIONS
주요 설계 결정
- 초기 스케줄러는 독립 작업 단위로 설계합니다.
OPEN QUESTIONS
함께 검토할 과제
- 작업별 분할 가능성 정의
- 데이터 이동 비용을 반영한 배정 점수