2024년 4월 23일 마이크로소프트사(Microsoft)는 소형 언어 모델 파이-3-미니(Phi-3-mini)를 출시했습니다. 파이-3-미니는 MS가 내놓을 소형 언어 모델 가운데 가장 경량 모델로 알려졌는데요. MS는 2023년 12월 파이-2를 출시한 바 있으니 파이-3-미니는 파이-2 후속 버전으로 볼 수 있습니다. 그렇다면 MS가 AI 분야에서 어떤 제품을 선보이고 있는지, 어떤 언어모델을 사용하며 새롭게 출시한 소형 언어 모델인 Phi-3는 어떤 특징이 있는지 살펴보겠습니다.
마이크로소프트가 사용하는 AI 언어 모델
마이크로소프트는 자체적으로 개발한 다양한 AI 언어 모델을 사용하고 있으며, 그 중에서도 가장 유명한 모델은 ‘Turing’입니다. 마이크로소프트는 특히 Turing-NLG (Natural Language Generation) 모델을 포함하여 여러 Turing 모델을 개발하였습니다. 이 모델들은 대규모의 데이터셋에서 훈련되어 자연어 이해 및 생성 능력이 매우 뛰어나며, 질의 응답 시스템, 번역, 요약 작업 등에 사용됩니다.
Turing-NLG는 특히 170억 개의 파라미터를 가진 대규모 모델로, 자연어 처리(NLP) 작업에서 상당한 성능을 발휘합니다. 이 모델은 복잡한 문맥을 이해하고, 다양한 주제에 대해 사람과 유사한 수준으로 자연스러운 응답을 생성할 수 있습니다. 마이크로소프트는 이와 같은 고성능 모델을 활용하여, 더 인간 같은 상호작용을 가능하게 하는 AI 기반의 솔루션을 제공하고 있습니다.
마이크로소프트와 OPENAI
마이크로소프트는 OpenAI와 깊은 파트너십을 맺고 투자를 진행해왔습니다. 이 파트너십은 OpenAI의 기술 발전과 상업적 활용을 촉진하고, 마이크로소프트의 클라우드 플랫폼 Azure를 사용하여 OpenAI의 대규모 AI 모델을 지원하는 형태로 이루어졌습니다.
1. 초기 투자와 협력
2019년, 마이크로소프트는 OpenAI와 10억 달러 규모의 파트너십을 발표했습니다. 이 파트너십의 일환으로 OpenAI는 마이크로소프트의 Azure를 자신들의 기본 클라우드 제공 업체로 선택했으며, 마이크로소프트는 OpenAI의 AI 기술을 상업적 환경에서 활용하기 위한 독점적 권리를 얻었습니다.
2. 기술적 협력 확대
이후 마이크로소프트는 OpenAI의 기술, 특히 자연어 처리 모델을 활용하여 자신들의 제품과 서비스를 강화했습니다. 예를 들어, 마이크로소프트의 클라우드 컴퓨팅 서비스, Azure AI와의 통합을 통해 OpenAI의 모델은 더 많은 기업과 개발자가 접근할 수 있게 되었습니다.
3. 지속적인 투자 및 협력 강화
2020년과 그 이후에도 마이크로소프트는 OpenAI와의 협력을 강화했으며, 추가 투자를 포함한 여러 형태의 지원을 계속해왔습니다. 이러한 지원은 OpenAI가 더 큰 규모의 AI 모델을 개발하고 연구를 확장하는 데 중요한 역할을 했습니다. 마이크로소프트와 Open AI는 여러 고급 언어 모델을 사용하고 개발하는 중인데 그 중 가장 주목할만한 모델은 GPT 시리즈와 Codex입니다. 이들 모델은 각각 자연어 이해 및 생성, 그리고 프로그래밍 언어를 자동으로 생성하는 데 초점을 맞추고 있습니다.
GPT (Generative Pre-trained Transformer)
- GPT-3: 마이크로소프트와 OpenAI의 파트너십의 결과로 가장 유명한 모델 중 하나입니다. GPT-3는 1750억 개의 파라미터를 가지고 있으며, 다양한 언어 작업을 수행할 수 있습니다. 이 모델은 텍스트 생성, 번역, 요약, 대화 생성 등 다양한 자연어 처리 작업에서 뛰어난 성능을 보여줍니다.
- GPT-4: GPT-3보다 향상된 성능과 더 많은 파라미터를 가진 모델로, 더 정교하고 복잡한 언어 작업을 수행할 수 있습니다. 이 모델은 더 깊은 이해와 더 자연스러운 언어 생성 능력을 보여줍니다.
Codex
- Codex: GPT-3를 기반으로 하는 이 모델은 주로 프로그래밍 코드 생성에 초점을 맞추고 있습니다. GitHub Copilot라는 도구에 통합되어 개발자들이 코드를 더 빠르고 효율적으로 작성할 수 있도록 지원합니다.
마이크로소프트의 주요 AI 기술
마이크로소프트는 AI 분야에서 여러 혁신적인 기술을 개발하고 있으며, 이들 기술은 비즈니스, 개발자 지원, 그리고 의료 분야에서 특히 중요한 역할을 하고 있습니다.
1. Azure AI
Azure AI는 마이크로소프트의 클라우드 기반 인공지능 서비스로, 기업들이 AI 솔루션을 쉽게 구축하고 배포할 수 있도록 다양한 도구와 서비스를 제공합니다. Azure AI의 핵심 구성 요소 중 하나는 Azure Machine Learning입니다. 이 서비스는 기업이 데이터 과학 프로젝트를 더 빠르고 효율적으로 진행할 수 있도록 설계되었습니다. 사용자는 시각적 인터페이스를 통해 머신러닝 모델을 쉽게 생성하고 훈련시킬 수 있으며, 이 모델들은 클라우드에서 자동으로 스케일링되어 처리됩니다.
Azure AI는 또한 컴퓨터 비전, 자연어 처리, 음성 인식과 같은 고급 인지 서비스를 포함합니다. 예를 들어, Azure Cognitive Services는 개발자가 애플리케이션에 통합할 수 있는 강력한 API를 제공하여, 텍스트 분석, 얼굴 인식, 음성 변환 등의 기능을 쉽게 추가할 수 있게 해줍니다. 이러한 서비스는 특히 고객 서비스 자동화, 개인화된 사용자 경험 제공, 보안 강화 등에 유용하게 활용됩니다.
2. GitHub Copilot
GitHub Copilot은 개발자의 코딩을 보조하는 AI 도구로, 마이크로소프트와 GitHub이 협력하여 개발했습니다. 이 도구는 GPT-3와 같은 고급 언어 모델을 기반으로 하여, 자연어로 된 설명을 바탕으로 코드를 자동으로 생성해줍니다. Copilot은 개발자가 더 빠르게 코드를 작성하고, 반복적인 작업에서 벗어나 복잡한 문제 해결에 더 많은 시간을 할애할 수 있도록 돕습니다. 또한, 신규 개발자가 새로운 프로그래밍 언어나 프레임워크를 배우는 데 있어 효과적인 학습 도구로도 사용될 수 있습니다.
마이크로소프트의 sLLM(소형 언어 모델) Phi-3
마이크로소프트사는 OpenAI의 대형언어모델을 통해 AI 서비스를 제공하는 것과 별개로 경량화된 소형 언어 모델 개발도 같이 진행하고 있습니다.
2024년 4월 23일 마이크로소프트사는 소형 언어 모델의 새로운 세대인 Phi-3-mini(파이-3-미니)를 발표했습니다. 파이-3-미니는 자원이 제한된 환경에서도 효율적으로 작동합니다. 파이-3는 기계학습과 구동에 드는 비용이 저렴하고 인터넷 연결 없이도 스마트폰과 노트북 등에서 작동하는 것이 특징입니다.
MS의 파이-3-미니의 매개변수는 38억개로. 앞으로 출시될 매개변수 70억개의 파이-3-스몰, 140억개의 파이-3-미디엄보다도 매개변수가 적습니다. 매개변수가 많으면 많을수록 복잡한 명령어를 이해할 수 있지만 SLM은 단순한 작업을 수행할 수 있도록 설계됐기 때문에 한정된 자원을 가진 기업들이 쉽게 사용할 수 있다는 장점이 있습니다. 기업 입장에서는 범용인공지능(AGI)를 목표로 하는 게 아니라면 LLM을 구축하고 구동하려면 비용이 너무 많이 들기 때문에 소형 언어 모델에 관심을 가질 수밖에 없습니다. 파이-3-미니는 오픈AI의 대형언어모델인 GPT-3.5와 같은 수준의 성능을 발휘하면서 비용이 10분의 1 수준으로 시장에서 많이 사용될 것으로 전망됩니다.