딥시크, LLM 추론 속도 최대 85% 향상시키는 DSpark 오픈소스 공개

중국 인공지능 기업 딥시크(DeepSeek)가 대규모 언어 모델(LLM)의 추론 속도를 크게 높이는 새로운 오픈소스 프레임워크 DSpark를 공개했습니다.

이 시스템은 추론적 디코딩(speculative decoding)을 사용하여 더 작은 모델이 여러 토큰을 예측하면 주 모델이 이를 병렬로 검증합니다. 이를 통해 모델 출력을 변경하지 않고도 텍스트 생성을 가속화합니다.