100분의 1 수준 학습 비용으로 동일 크기 해외 모델과 유사한 성능
 |
| 네이버클라우드는 독자 기술을 활용해 '프롬 스크래치(from scratch, 토대부터)'로 개발한 경량화 추론 모델 'HyperCLOVA X SEED 14B Think'를 상업용으로 이용할 수 있는 무료 오픈소스로 공개했다. HyperCLOVA X SEED 14B Think' 이미지. /네이버클라우드 |
[더팩트ㅣ장혜승 기자] 네이버클라우드는 독자 기술을 활용해 '프롬 스크래치(from scratch, 토대부터)'로 개발한 경량화 추론 모델 'HyperCLOVA X SEED 14B Think'를 상업용으로 이용할 수 있는 무료 오픈소스로 공개했다고 22일 밝혔다.
상용화된 해외 오픈소스 모델을 개조한 것이 아닌 원천기술로 추론 능력과 경량화 기술을 결합해 개발한 AI다. 국내 AI 역량을 한층 끌어올리는 데 기여할 것으로 예상된다.
또한 AI 에이전트 서비스의 핵심 기술로 주목받는 추론모델을 연구용으로만 제한하지 않고 비즈니스에도 적용할 수 있게 공개했다. 다양한 산업 영역에서 만들어질 AI 에이전트의 기반 기술로 활용되며 국내 AI 생태계를 한층 활성화시킬 것으로도 전망된다.
HyperCLOVA X SEED 14B Think는 지난달 30일 발표된 추론모델 HyperCLOVA X THINK를 안정적, 효율적으로 서비스에 접목할 수 있게 경량화한 모델이다. 중요도가 낮은 파라미터를 가지치기(pruning)하되 원본 모델이 가진 지식을 최대한 보존했다. 아울러 가지치기 과정에서 손실이 생긴 큰 모델의 지식을 작은 모델에 전이(distillation)하는 방식으로 학습 비용을 크게 낮춘 것이 특징이다.
140억 개 파라미터 규모의 모델임에도 불구하고, 5억 개 파라미터로 구성된 글로벌 오픈소스 모델보다 더 적은 비용(GPU Hours)으로 학습됐다. 동일 크기 글로벌 오픈소스 모델과 비교하면 1회 학습 비용은 약 100분의 1 수준이다.
적은 비용으로 학습된 모델이지만, 한국어·한국문화와 코딩·수학 관련 성능을 측정하는 평가들에서 동일 크기(140억) 또는 상대적으로 큰 규모(320억) 모델과 유사하거나 높은 평균 점수를 기록했다. 성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 "실험과 개선을 통해 설계한 효율적인 학습 전략을 바탕으로 동일 규모에서 비용·성능 등이 더 효과적인 추론모델을 구축할 수 있었다"며 "자체 기술로 구축한 하이퍼클로바X가 한국 AI 생태계의 본격적 성장을 이끌 수 있기를 기대한다"고 말했다.
한편, 지난 4월 오픈소스로 공개된 하이퍼클로바X 경량모델 3종은 7월 누적 다운로드 100만 건을 돌파했다. 50여 개의 1차 파생모델을 바탕으로 새로운 파생모델이 생산·공유되고, 한국어 온 디바이스 AI 서비스가 출시됐다.
zzang@tf.co.kr
