비즈니스 기회
Apple의 온디바이스 AI?
마이크로소프트 빌드(Microsoft Build)와 구글 I/O(Google I/O)에 이어 애플은 2024년 세계 개발자 컨퍼런스(WWDC)에서 온디바이스 AI의 힘을 보여줘야 한다는 압박을 많이 받았습니다. 그리고 데모에 관한한, Apple은 생성형 AI를 모든 장치의 사용자 경험을 통합하는 데 큰 역할을 했습니다.
데모에서 가장 인상적인 측면 중 하나는 장치 자체에서 얼마나 많은 워크로드가 발생하는지였습니다. Apple은 최첨단 프로세서와 수많은 공개 연구를 활용하여 휴대폰과 컴퓨터에 고품질의 저지연 AI 기능을 제공할 수 있었습니다. 다음은 Apple의 기기 내 AI에 대해 우리가 알고 있는 내용입니다.
30억 개의 파라미터 모델
애플 스테이트 오브 더 유니언(Apple State of the Union) 프레젠테이션과 6월 10일에 공개된 블로그 게시물에 따르면, 애플은 30억 개의 파라미터 모델을 사용합니다. Apple은 어떤 모델을 기본 모델로 사용하는지 명시적으로 밝히지는 않습니다. 그러나 최근에는 30억 개의 매개변수 버전이 포함된 OpenELM 언어 모델 제품군을 포함한 여러 개방형 모델을 출시했습니다.
OpenELM은 리소스가 제한된 장치에 최적화되었습니다. 예를 들어, 매개변수를 늘리지 않고 모델의 품질을 개선하기 위해 기본 변압기 모델을 수정했습니다. Apple 디바이스에 사용되는 기본 모델은 OpenELM-3B의 특수 버전일 수 있습니다.
OpenELM은 1조 8천억 개의 오픈 데이터 세트 토큰에 대해 훈련되었습니다. 블로그 게시물에 따르면 새로운 파운데이션 모델은 "특정 기능을 향상시키기 위해 선택된 데이터와 웹 크롤러인 AppleBot에서 수집한 공개적으로 사용 가능한 데이터를 포함하여 라이선스가 부여된 데이터"에 대해 훈련됩니다.
이 라이선스가 부여된 데이터는 무엇입니까? 우리가 아는 바에 따르면 Apple은 Shutterstock과 이미지에 대해 2,500만 달러에서 5,000만 달러 규모의 계약을 맺고 있으며 주요 뉴스 및 출판 조직과 5,000만 달러의 계약을 체결할 수 있습니다.
이 모델은 RLHF(Reinforcement Learning from Human Feedback)와 "교사 위원회와 함께 거부 샘플링 미세 조정 알고리즘"을 통해 지시 준수를 위해 미세 조정되었습니다. RLHF는 사람이 주석을 단 데이터를 사용하여 사용자 선호도를 모델링하고 지침을 더 잘 따르도록 언어 모델을 훈련하며 ChatGPT의 출시와 함께 인기를 얻었습니다.
거부 샘플링은 각 학습 단계에서 여러 예제를 생성하고 최상의 결과를 제공하는 예제를 사용하여 모델을 업데이트합니다. Llama-2 팀은 또한 모델을 미세 조정하는 데 거부 샘플링을 사용했습니다. '교사 위원회'는 온디바이스 모델을 미세 조정하기 위해 생성된 학습 예제의 품질을 평가하기 위해 더 크고 더 유능한 모델을 참조로 사용했음을 시사합니다. 많은 연구자들이 이러한 시나리오에서 GPT-4 및 Claude 3와 같은 프론티어 모델을 교사로 사용합니다. Apple이 샘플 평가에 어떤 모델을 사용했는지는 명확하지 않습니다.
최적화
Apple은 리소스 효율성을 유지하면서 모델의 기능을 개선하기 위해 여러 기술을 사용했습니다.
블로그 게시물에 따르면 기본 모델은 메모리 및 컴퓨팅 요구 사항을 폭발시키지 않고 추론 속도를 높이는 Google Research에서 개발한 기술인 "그룹화된 쿼리 주의"(GQA)를 사용합니다. OpenELM은 GQA도 사용합니다.
Apple 블로그에 따르면 이 모델은 룩업 테이블과 인덱스를 사용하여 유사한 모델 가중치를 함께 그룹화하여 모델의 가중치를 압축하는 기술인 "팔레트화"를 사용합니다. 그러나 프레젠테이션에서는 매개 변수당 비트 수를 줄이는 또 다른 압축 기술인 "양자화"를 언급합니다.
또한 이 모델은 M1 이상 칩이 탑재된 MacBook과 A15 Pro 칩이 장착된 iPhone 17 Pro 및 Pro Max에서만 실행됩니다. 이는 이 모델이 작년 말에 도입된 플래시 기술의 대규모 언어 모델(LLM)과 같이 Apple 칩에 특히 적합한 최적화 기술 중 일부를 사용한다는 것을 시사합니다.
iPhone 15 Pro에 대해 보고된 결과는 "프롬프트 토큰당 약 0.6밀리초의 첫 번째 토큰 대기 시간 및 초당 30개 토큰의 생성 속도"입니다. 즉, 예를 들어 모델에 1,000개의 프롬프트 토큰을 보내면 모델이 응답을 시작하는 데 0.6초가 걸리고 그 후에는 초당 30개의 토큰이 생성되므로 이는 매우 합리적인 성능입니다.
사용자 온디멘드화
작은 언어 모델이 할 수 있는 일이 너무 많기 때문에 Apple의 엔지니어는 장치에 저장할 기본 모델의 미세 조정 버전을 만들었습니다. 그러나 모델의 여러 복사본을 저장하지 않기 위해 LoRA(Low-Rank Adaptation) 어댑터를 사용합니다.
LoRA는 특정 작업에 대한 모델을 업데이트하기 위해 수정해야 하는 가중치의 매우 작은 하위 집합을 찾아 조정하는 기술입니다. 어댑터는 LoRA 가중치를 저장하고 추론 시 기본 모델과 결합합니다. 각 어댑터는 100MB 미만이므로 장치가 교정, 요약, 이메일 회신 등과 같은 다양한 작업을 위해 여러 LoRA 어댑터를 저장하고 사용할 수 있습니다.
Apple의 보고서에 따르면 인간 평가에 따르면 해당 모델은 일반적으로 동일한 크기의 다른 모델과 Gemma-2B, Mistral-7B, Phi-3B-Mini 및 Gemma-7B를 포함한 일부 더 큰 모델보다 선호됩니다.
언뜻 보기에 Apple의 온디바이스 AI는 작은 모델을 올바른 최적화 기술, 데이터 및 하드웨어와 결합할 때 얼마나 멀리 도달할 수 있는지 보여줍니다. 그들은 정확성과 최적의 사용자 경험 사이의 적절한 균형을 맞추기 위해 많은 노력을 기울였습니다. 가을에 기술이 사용자에게 출시되면 데모가 어떻게 유지되는지 보는 것은 흥미로울 것입니다.
이상의 기사는 2024년 6월 11일 VentureBeat에 게재된 “What we know about Apple’s on-device AI”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : What we know about Apple’s on-device AI | VentureBeat