중국 인공지능 기업 딥시크(DeepSeek)가 대규모 언어 모델(LLM)의 추론 속도를 크게 높이는 새로운 오픈소스 프레임워크 DSpark를 공개했습니다. 이 시스템은 추론적 디코딩(speculative decoding)을 사용하여 더 작은 모델이 여러 토큰을 예측하면 주 모델이 이를 병렬로 검증합니다. 이를 통해 모델 출력을 변경하지 않고도 텍스트 생성을 가속화합니다.
DSpark는 MIT 라이선스로 배포되며 GitHub와 Hugging Face에서 이용할 수 있습니다. 이 기술은 실시간 애플리케이션을 위해 대규모 모델을 빠르게 서비스하는 AI 배포의 가장 비용이 많이 드는 문제를 해결하기 위해 설계되었습니다. 하드웨어 효율성을 높이고 운영 비용을 절감합니다.
딥시크의 V4-Flash 및 V4-Pro 모델 테스트에서 DSpark는 놀라운 속도 향상을 보여주었습니다. 사용자는 V4-Flash에서 60~85%, V4-Pro에서 57~78% 더 빠른 토큰 생성 속도를 경험했습니다. 전체 처리량은 각각 51%와 52% 증가했습니다.
추론적 디코딩은 딥시크 자체 모델에만 국한되지 않습니다. 이 프레임워크는 알리바바의 Qwen, 구글의 Gemma 등 다른 오픈 모델에도 적용할 수 있습니다. 오픈 가중치 모델을 운영하는 기업은 자체 모델에 DSpark 스타일의 드래프트 모듈을 훈련하거나 미세 조정할 수 있습니다.
딥시크는 기술 논문, 모델 체크포인트, DeepSpec 코드베이스도 함께 공개했습니다. 이를 통해 개발자와 연구자들이 이 방법을 연구하고 적용할 수 있습니다. 이번 공개는 지정학적 긴장 속에서도 딥시크의 개방형 AI 개발에 대한 헌신을 보여줍니다.
이 기사에 대해 질문
답변은 이 기사만을 바탕으로 AI가 생성합니다.