DeepSeek 연구진이 고안한 이런 독자적이고 혁신적인 접근법들을 결합해서, DeepSeek-V2가 다른 오픈소스 모델들을 앞서는 높은 성능과 효율성을 달성할 수 있게 되었습니다. 처음에는 Llama 2를 기반으로 다양한 벤치마크에서 주요 모델들을 고르게 앞서나가겠다는 목표로 모델을 개발, 개선하기 시작했습니다. 두 모델 모두 DeepSeekMoE에서 시도했던, DeepSeek만의 업그레이드된 MoE 방식을 기반으로 구축되었는데요. DeepSeek-Coder-V2는 코딩과 수학 분야에서 GPT4-Turbo를 능가하는 최초의 오픈 소스 AI 모델로, 가장 좋은 평가를 받고 있는 새로운 모델 중 하나입니다. DeepSeek Coder는 Llama 2의 아키텍처를 기본으로 하지만, 트레이닝 데이터 준비, 파라미터 설정을 포함해서 처음부터 별도로 구축한 모델로, ‘완전한 오픈소스’로서 모든 방식의 상업적 이용까지 가능한 모델입니다. 당시에 출시되었던 모든 다른 LLM과 동등하거나 앞선 성능을 보여주겠다는 목표로 만든 모델인만큼 ‘고르게 좋은’ 성능을 보여주었습니다. 더 적은 수의 활성화된 파라미터를 가지고도 DeepSeekMoE는 Llama 2 7B와 비슷한 성능을 달성할 수 있었습니다. 특히 DeepSeek-V2는 더 적은 메모리를 사용하면서도 더 빠르게 정보를 처리하는 또 하나의 혁신적 기법, MLA (Multi-Head Latent Attention)을 도입했습니다. 이런 두 가지의 기법을 기반으로, DeepSeekMoE는 모델의 효율성을 한층 개선, 특히 대규모의 데이터셋을 처리할 때 다른 MoE 모델보다도 더 좋은 성능을 달성할 수 있습니다.

MoE에서 ‘라우터’는 특정한 정보, 작업을 처리할 전문가(들)를 결정하는 메커니즘인데, 가장 적합한 전문가에게 데이터를 전달해서 각 작업이 모델의 가장 적합한 부분에 의해서 처리되도록 하는 것이죠. DeepSeekMoE는 LLM이 복잡한 작업을 더 잘 처리할 수 있도록 위와 같은 문제를 개선하는 방향으로 설계된 MoE의 고도화된 버전이라고 할 수 있습니다. Moonshot AI 같은 중국의 생성형 AI 유니콘을 이전에 튜링 포스트 코리아에서도 소개한 적이 있는데요. AI 학계와 업계를 선도하는 미국의 그늘에 가려 아주 큰 관심을 받지는 못하고 있는 것으로 보이지만, 분명한 것은 생성형 AI의 혁신에 중국도 강력한 연구와 스타트업 생태계를 바탕으로 그 역할을 계속해서 확대하고 있고, 특히 중국의 연구자, 개발자, 그리고 스타트업들은 ‘나름의’ 어려운 환경에도 불구하고, ‘모방하는 중국’이라는 통념에 도전하고 있다는 겁니다. 시장의 규모, 경제적/산업적 환경, 정치적 안정성 측면에서 우리나라와는 많은 차이가 있기는 하지만, 과연 우리나라의 생성형 AI 생태계가 어떤 도전을 해야 할지에 대한 하나의 시금석이 될 수도 있다고 생각합니다. DeepSeek 모델은 처음 2023년 하반기에 출시된 후에 빠르게 AI 커뮤니티의 많은 관심을 받으면서 유명세를 탄 편이라고 할 수 있는데요. 바로 직후인 2023년 11월 29일, deepseek ai LLM 모델을 발표했는데, 이 모델을 ‘차세대의 오픈소스 LLM’이라고 불렀습니다. 허깅페이스 기준으로 지금까지 DeepSeek이 출시한 모델이 48개인데, 2023년 DeepSeek과 비슷한 시기에 설립된 미스트랄AI가 총 15개의 모델을 내놓았고, 2019년에 설립된 독일의 알레프 알파가 6개 모델을 내놓았거든요. 이 Lean four 환경에서 각종 정리의 증명을 하는데 사용할 수 있는 최신 오픈소스 모델이 DeepSeek-Prover-V1.5입니다.

이전 버전인 DeepSeek-Coder의 메이저 업그레이드 버전이라고 할 수 있는 DeepSeek-Coder-V2는 이전 버전 대비 더 광범위한 트레이닝 데이터를 사용해서 훈련했고, ‘Fill-In-The-Middle’이라든가 ‘강화학습’ 같은 기법을 결합해서 사이즈는 크지만 높은 효율을 보여주고, 컨텍스트도 더 잘 다루는 모델입니다. AI 커뮤니티의 관심은 - 어찌보면 당연하게도 - Llama나 Mistral 같은 모델에 집중될 수 밖에 없지만, DeepSeek이라는 스타트업 자체, 이 회사의 연구 방향과 출시하는 모델의 흐름은 한 번 살펴볼 만한 중요한 대상이라고 생각합니다. 그 이후 2024년 5월부터는 DeepSeek-V2와 DeepSeek-Coder-V2 모델의 개발, 성공적인 출시가 이어집니다. 불과 두 달 만에, DeepSeek는 뭔가 새롭고 흥미로운 것을 들고 나오게 됩니다: 바로 2024년 1월, 고도화된 MoE (Mixture-of-Experts) 아키텍처를 앞세운 DeepSeekMoE와, 새로운 버전의 코딩 모델인 DeepSeek-Coder-v1.5 등 더욱 발전되었을 뿐 아니라 매우 효율적인 모델을 개발, 공개한 겁니다. DeepSeek의 오픈소스 모델 DeepSeek-V2, 그리고 DeepSeek-Coder-V2 모델은 독자적인 ‘어텐션 메커니즘’과 ‘MoE 기법’을 개발, 활용해서 LLM의 성능을 효율적으로 향상시킨 결과물로 평가받고 있고, 특히 DeepSeek-Coder-V2는 현재 기준 가장 강력한 오픈소스 코딩 모델 중 하나로 알려져 있습니다. DeepSeek 모델 패밀리는, 특히 오픈소스 기반의 LLM 분야의 관점에서 흥미로운 사례라고 할 수 있습니다. 텍스트를 단어나 형태소 등의 ‘토큰’으로 분리해서 처리한 후 수많은 계층의 계산을 해서 이 토큰들 간의 관계를 이해하는 ‘트랜스포머 아키텍처’가 DeepSeek-V2의 핵심으로 근간에 자리하고 있습니다. 조금만 더 이야기해 보면, 어텐션의 기본 아이디어가 ‘디코더가 출력 단어를 예측하는 각 시점마다 인코더에서의 전체 입력을 다시 한 번 참고하는 건데, 이 때 모든 입력 단어를 동일한 비중으로 고려하지 않고 해당 시점에서 예측해야 할 단어와 관련있는 입력 단어 부분에 더 집중하겠다’는 겁니다.

모든 태스크를 대상으로 전체 2,360억개의 파라미터를 다 사용하는 대신에, DeepSeek-V2는 작업에 따라서 일부 (210억 개)의 파라미터만 활성화해서 사용합니다. 이렇게 하는 과정에서, 모든 시점의 은닉 상태들과 그것들의 계산값을 ‘KV 캐시 (Key-Value Cache)’라는 이름으로 저장하게 되는데, 이게 아주 메모리가 많이 필요하고 느린 작업이예요. 이게 무슨 모델인지 아주 간단히 이야기한다면, 우선 ‘Lean’이라는 ‘ 기능적 (Functional) 프로그래밍 언어’이자 ‘증명 보조기 (Theorem Prover)’가 있습니다. 이렇게 한 번 고르게 높은 성능을 보이는 모델로 기반을 만들어놓은 후, 아주 빠르게 새로운 모델, 개선된 버전을 내놓기 시작했습니다. 자, 이제 이 글에서 다룰 마지막 모델, DeepSeek-Coder-V2를 살펴볼까요? 자, 이제 DeepSeek-V2의 장점, 그리고 남아있는 한계들을 알아보죠. 자, 그리고 2024년 8월, 바로 며칠 전 가장 따끈따끈한 신상 모델이 출시되었는데요. 자, 이렇게 창업한지 겨우 반년 남짓한 기간동안 스타트업 DeepSeek가 숨가쁘게 달려온 모델 개발, ديب سيك 출시, Deepseek 개선의 역사(?)를 흝어봤는데요. 기존의 MoE 아키텍처는 게이팅 메커니즘 (Sparse Gating)을 사용해서 각각의 입력에 가장 관련성이 높은 전문가 모델을 선택하는 방식으로 여러 전문가 모델 간에 작업을 분할합니다. 트랜스포머에서는 ‘어텐션 메커니즘’을 사용해서 모델이 입력 텍스트에서 가장 ‘유의미한’ - 관련성이 높은 - 부분에 집중할 수 있게 하죠. 공유 전문가가 있다면, 모델이 구조 상의 중복성을 줄일 수 있고 동일한 정보를 여러 곳에 저장할 필요가 없어지게 되죠.