DeepSeek 모델 패밀리의 면면을 한 번 살펴볼까요? ‘DeepSeek’은 오늘 이야기할 생성형 AI 모델 패밀리의 이름이자 이 모델을 만들고 있는 스타트업의 이름이기도 합니다. 바로 직후인 2023년 11월 29일, DeepSeek LLM 모델을 발표했는데, 이 모델을 ‘차세대의 오픈소스 LLM’이라고 불렀습니다. Comprising the DeepSeek LLM 7B/67B Base and DeepSeek LLM 7B/67B Chat - these open-supply fashions mark a notable stride forward in language comprehension and versatile utility. As illustrated in Figure 4, for a pair of ahead and backward chunks, we rearrange these parts and manually adjust the ratio of GPU SMs devoted to communication versus computation. Along side our FP8 coaching framework, we further reduce the reminiscence consumption and communication overhead by compressing cached activations and optimizer states into lower-precision formats. The United States thought it might sanction its solution to dominance in a key technology it believes will assist bolster its nationwide safety. Barath Harithas is a senior fellow in the Project on Trade and Technology at the middle for Strategic and International Studies in Washington, DC. That is removed from good; it's just a simple undertaking for me to not get bored. It’s a analysis venture. DeepSeek AI’s choice to open-source both the 7 billion and 67 billion parameter variations of its models, together with base and specialized chat variants, goals to foster widespread AI research and industrial functions.

DeepSeek's first-technology of reasoning models with comparable performance to OpenAI-o1, including six dense fashions distilled from DeepSeek-R1 primarily based on Llama and Qwen. DeepSeek Coder는 Llama 2의 아키텍처를 기본으로 하지만, 트레이닝 데이터 준비, 파라미터 설정을 포함해서 처음부터 별도로 구축한 모델로, ‘완전한 오픈소스’로서 모든 방식의 상업적 이용까지 가능한 모델입니다. 시장의 규모, 경제적/산업적 환경, 정치적 안정성 측면에서 우리나라와는 많은 차이가 있기는 하지만, 과연 우리나라의 생성형 AI 생태계가 어떤 도전을 해야 할지에 대한 하나의 시금석이 될 수도 있다고 생각합니다. 물론 허깅페이스에 올라와 있는 모델의 수가 전체적인 회사의 역량이나 모델의 수준에 대한 직접적인 지표가 될 수는 없겠지만, DeepSeek이라는 회사가 ‘무엇을 해야 하는가에 대한 어느 정도 명확한 그림을 가지고 빠르게 실험을 반복해 가면서 모델을 출시’하는구나 짐작할 수는 있습니다. 이 회사의 소개를 보면, ‘Making AGI a Reality’, ‘Unravel the Mystery of AGI with Curiosity’, ‘Answer the Essential Question with Long-termism’과 같은 표현들이 있는데요. AI 커뮤니티의 관심은 - 어찌보면 당연하게도 - Llama나 Mistral 같은 모델에 집중될 수 밖에 없지만, DeepSeek이라는 스타트업 자체, 이 회사의 연구 방향과 출시하는 모델의 흐름은 한 번 살펴볼 만한 중요한 대상이라고 생각합니다.

DeepSeek 모델 패밀리는, 특히 오픈소스 기반의 LLM 분야의 관점에서 흥미로운 사례라고 할 수 있습니다. DeepSeek 모델은 처음 2023년 하반기에 출시된 후에 빠르게 AI 커뮤니티의 많은 관심을 받으면서 유명세를 탄 편이라고 할 수 있는데요. 다시 DeepSeek 이야기로 돌아와서, DeepSeek 모델은 그 성능도 우수하지만 ‘가격도 상당히 저렴’한 편인, 꼭 한 번 살펴봐야 할 모델 중의 하나인데요. 특히, DeepSeek만의 혁신적인 MoE 기법, 그리고 MLA (Multi-Head Latent Attention) 구조를 통해서 높은 성능과 효율을 동시에 잡아, 향후 주시할 만한 AI 모델 개발의 사례로 인식되고 있습니다. DeepSeek의 오픈소스 모델 DeepSeek-V2, 그리고 DeepSeek-Coder-V2 모델은 독자적인 ‘어텐션 메커니즘’과 ‘MoE 기법’을 개발, 활용해서 LLM의 성능을 효율적으로 향상시킨 결과물로 평가받고 있고, 특히 deepseek ai-Coder-V2는 현재 기준 가장 강력한 오픈소스 코딩 모델 중 하나로 알려져 있습니다. 2023년 11월 2일부터 DeepSeek의 연이은 모델 출시가 시작되는데, 그 첫 타자는 DeepSeek Coder였습니다. 또 한 가지 주목할 점은, DeepSeek의 소형 모델이 수많은 대형 언어모델보다 상당히 좋은 성능을 보여준다는 점입니다. 역시 중국의 스타트업인 이 DeepSeek의 기술 혁신은 실리콘 밸리에서도 주목을 받고 있습니다. Moonshot AI 같은 중국의 생성형 AI 유니콘을 이전에 튜링 포스트 코리아에서도 소개한 적이 있는데요. 이 소형 모델은 GPT-4의 수학적 추론 능력에 근접하는 성능을 보여줬을 뿐 아니라 또 다른, 우리에게도 널리 알려진 중국의 모델, Qwen-72B보다도 뛰어난 성능을 보여주었습니다.

이렇게 한 번 고르게 높은 성능을 보이는 모델로 기반을 만들어놓은 후, 아주 빠르게 새로운 모델, 개선된 버전을 내놓기 시작했습니다. 이렇게 ‘준수한’ 성능을 보여주기는 했지만, 다른 모델들과 마찬가지로 ‘연산의 효율성 (Computational Efficiency)’이라든가’ 확장성 (Scalability)’라는 측면에서는 여전히 문제가 있었죠. 당시에 출시되었던 모든 다른 LLM과 동등하거나 앞선 성능을 보여주겠다는 목표로 만든 모델인만큼 ‘고르게 좋은’ 성능을 보여주었습니다. 처음에는 Llama 2를 기반으로 다양한 벤치마크에서 주요 모델들을 고르게 앞서나가겠다는 목표로 모델을 개발, 개선하기 시작했습니다. 허깅페이스 기준으로 지금까지 DeepSeek이 출시한 모델이 48개인데, 2023년 DeepSeek과 비슷한 시기에 설립된 미스트랄AI가 총 15개의 모델을 내놓았고, 2019년에 설립된 독일의 알레프 알파가 6개 모델을 내놓았거든요. ‘장기적인 관점에서 현재의 생성형 AI 기술을 바탕으로 AGI로 가는 길을 찾아보겠다’는 꿈이 엿보이는 듯합니다. Available on net, app, and API. The benchmark consists of artificial API perform updates paired with program synthesis examples that use the updated functionality. Experimentation with multi-alternative questions has confirmed to boost benchmark performance, significantly in Chinese multiple-alternative benchmarks.