비즈니스 기회
Musk의 Grok AI가 오픈 소스로 전환됩니다
억만장자 멀티 컴퍼니 리더 일론 머스크(Elon Musk)의 스타트업 xAI는 오늘 최초의 대규모 언어 모델(LLM) Grok을 오픈 소스로 만들었습니다.
머스크가 이전에 선언한 이 조치는 이제 다른 모든 기업가, 프로그래머, 회사 또는 개인이 Grok의 가중치(모델의 인공 "뉴런" 또는 모델이 결정을 내리고 입력을 수락하고 텍스트 형태로 출력을 제공할 수 있도록 하는 소프트웨어 모듈 간의 연결 강도) 및 기타 관련 문서를 취하고 원하는 대로 모델 사본을 사용할 수 있도록 합니다. 상업용 응용 프로그램을 포함합니다.
"우리는 대규모 언어 모델인 Grok-1의 기본 모델 가중치와 네트워크 아키텍처를 공개합니다"라고 회사는 블로그 게시물에서 발표했습니다. "Grok-1은 xAI가 처음부터 훈련한 3,140억 개의 매개변수 전문가 혼합물 모델입니다."
관심 있는 사람들은 Github 페이지 또는 토렌트 링크를 통해 Grok에 대한 코드를 다운로드할 수 있습니다.
Grok의 오픈 소싱의 의미
매개변수는 모델을 지배하는 가중치와 편향을 의미하며, 매개변수가 많을수록 일반적으로 모델이 더 발전되고 복잡하며 성능이 뛰어납니다. 3,140억 개의 매개변수로 Grok은 Meta의 Llama 2(700억 개 매개변수) 및 Mistral 8x7B(120억 개 매개변수)와 같은 오픈 소스 경쟁자보다 훨씬 앞서 있습니다.
Grok은 상업적 사용, 수정 및 배포가 가능한 Apache License 2.0에 따라 오픈 소스로 제공되었지만 상표를 등록할 수 없으며 사용자가 이에 대해 어떠한 책임이나 보증도 받지 않습니다. 또한 원본 라이선스 및 저작권 고지를 복제하고 변경 사항을 명시해야 합니다.
2023년 10월 JAX와 Rust를 기반으로 맞춤형 훈련 스택을 사용하여 개발된 Grok의 아키텍처는 신경망 설계에 대한 혁신적인 접근 방식을 통합합니다. 이 모델은 주어진 토큰에 대해 가중치의 25%를 사용하며, 이는 효율성과 효과를 향상시키는 전략입니다
Grok은 2023년 11월에 독점 또는 "클로즈드 소스" 모델로 처음 출시되었으며 지금까지 Musk의 별도이지만 관련된 소셜 네트워크 X(구 Twitter), 특히 월 $16 또는 연간 $168의 비용이 드는 X Premium+ 유료 구독 서비스를 통해서만 액세스할 수 있었습니다.
그러나 Grok의 릴리스에는 학습 데이터의 전체 코퍼스가 포함되어 있지 않습니다. 이것은 이미 훈련되었기 때문에 모델을 사용하는 데 실제로 중요하지 않지만 사용자가 학습한 내용(아마도 X에 대한 사용자 텍스트 게시물)을 볼 수 없습니다.
또한 머스크가 처음에 다른 LLM에 비해 Grok의 주요 속성으로 선전했던 X에서 사용할 수 있는 실시간 정보에 대한 연결도 포함되어 있지 않습니다. 이를 위해 사용자는 여전히 X에서 유료 버전을 구독해야 합니다.
단순한 기술 이동 그 이상 — 비즈니스 및 PR 전략
머스크가 공동 설립하고 2018년 신랄하게 결별해 현재 경쟁하고 있는 회사인 OpenAI가 만든 ChatGPT에 필적하기 위해 설계된 Grok은 "이해"를 의미하는 속어의 이름을 따서 명명되었으며 영국 작가 Douglas Adams의 1970년대 라디오 드라마이자 풍자 SF 책 시리즈인 "은하계를 여행하는 히치하이커를 위한 안내서"를 모델로 한 AI로 묘사됩니다(2005년 주요 영화로 각색됨).
머스크는 그록을 챗GPT 및 기타 주요 LLM의 더 유머러스하고 검열되지 않은 버전으로 호의적으로 포지셔닝했으며, 이러한 입장은 AI 검열과 구글 제미니의 당혹스러운 인종 혼란 이미지 생성 및 의심스러운 이데올로기적 입장에 대한 불만에 비추어 사용자들 사이에서 새로운 매력을 갖게 되었습니다(제미니는 머스크의 트윗이 나치 지도자 아돌프 히틀러만큼 사회에 해로울 수 있다고 적어도 한 가지 예에서 제안했습니다). 물론 Gemini는 Musk와 a16z의 공동 창립자이자 웹 개척자인 Marc Andreessen을 포함한 다른 영향력 있는 기술 리더들로부터 거센 비판을 받았습니다.
Grok의 오픈 소스는 또한 Musk가 소송과 OpenAI에 대한 일반적인 비판에서 분명히 도움이 되는 이데올로기적 입장이며, 그는 최근 그의 전 회사가 비영리 단체로 운영하기 위한 "창립 계약"을 포기했다고 비난하면서 소송을 제기했습니다. 오픈AI는 적어도 여론의 법정에서 자신을 변호하기 위해 이메일을 공개했는데, 이는 머스크가 독점적이고 영리를 목적으로 하는 기술로의 전환을 알고 있었고 아마도 지지했을 가능성이 있음을 시사한다.
이미 X의 AI 커뮤니티는 호기심과 흥분으로 출시에 반응했습니다. 특히, 기술 커뮤니티는 피드포워드 레이어에서 GeGLU를 사용하는 모델과 정규화에 대한 접근 방식을 지적하면서 흥미로운 샌드위치 놈 기법에 관심을 기울였습니다. OpenAI의 직원들도 이 모델에 대한 관심을 게시했습니다.
따라서 Grok의 출시는 다른 모든 LLM 제공업체, 특히 다른 경쟁 오픈소스 제공업체에 압력을 가하여 사용자에게 자신들이 얼마나 우월한지를 정당화할 것입니다.
이상의 기사는 2024년 3월 17일 VentureBeat에 게재된 “Musk’s Grok AI goes open source”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문 출처 : https://venturebeat.com/ai/musks-grok-ai-goes-open-source/