비즈니스 기회
과거를 기억하면서 새로운 경험을 통해 지속 학습하는 AI
이미지 크레디트: Jaredd Craig / Unsplash
우리의 뇌는 끊임없이 학습합니다. 그 새로운 샌드위치 델리는 짱입니다. 그 주유소? 앞으로는 피하는 것이 좋습니다.
이와 같은 기억은 새로운 학습을 지원하는 뇌 영역의 연결을 물리적으로 다시 배선합니다. 잠을 자는 동안에는 전날의 기억이 뇌의 다른 부분으로 이동하여 장기간 저장되어 뇌 세포가 다음 날 새로운 경험을 할 수 있도록 합니다. 즉, 뇌는 이전에 있었던 것에 대한 기억에 대한 접근을 잃지 않고 우리의 일상 생활에 지속적으로 흡수될 수 있습니다.
AI는 그렇지 않습니다. 전 세계를 강타한 GPT-4 및 기타 대규모 언어 및 멀티모달 모델은 뇌를 느슨하게 모방하는 알고리즘 제품군인 딥 러닝을 사용하여 구축되었습니다. 무엇이 문제일까요? "표준 알고리즘을 사용하는 딥 러닝 시스템은 학습 능력을 서서히 잃어가고 있습니다"라고 앨버타 대학의 시반시 도하레(Shibhansh Dohare) 박사는 최근 네이처(Nature)에 발표했습니다.
그 이유는 설정 및 교육 방법에 있습니다. 딥 러닝은 서로 연결된 여러 인공 뉴런 네트워크에 의존합니다. 예를 들어 블로그, 뉴스 기사, YouTube 및 Reddit 댓글과 같은 수 많은 온라인 리소스와 같은 알고리즘에 데이터를 공급하면 이러한 연결의 강도가 변경되어 AI는 결국 데이터의 패턴을 "학습"하고 이러한 패턴을 사용하여 유창한 응답을 만들어냅니다.
그러나 이러한 시스템은 기본적으로 시간이 멈춘 뇌입니다. 새로운 작업을 처리하려면 때로는 완전히 새로운 교육과 학습이 필요한데, 이는 이전의 것을 지우는데 수백만 달러의 비용이 듭니다. ChatGPT 및 기타 AI 도구의 경우 이는 시간이 지남에 따라 점점 더 구식이 된다는 것을 의미합니다.
이번 주에 도하레와 동료들은 이 문제를 해결할 방법을 찾았습니다. 핵심은 작업 후 일부 인공 뉴런을 선택적으로 재설정하는 것이지만 전체 네트워크를 실질적으로 변경하지 않는 것입니다. 우리가 잠을 잘 때 뇌에서 일어나는 것과 비슷합니다.
고양이와 집을 구별하거나 정지 표지판과 스쿨 버스를 구별하는 것과 같은 지속적인 시각적 학습 작업으로 테스트했을 때, 선택적 재설정 기능이 있는 딥 러닝 알고리즘은 5,000개 이상의 다양한 작업을 쉽게 높은 정확도로 유지했습니다. 이와는 대조적으로, 표준 알고리즘은 급속히 악화되었고, 그 성공은 결국 동전 던지기 정도로 떨어졌습니다.
지속적인 역전파(back propagation)라고 불리는 이 전략은 지속적인 학습 문제를 다루기 위한 "크고 빠르게 성장하는 일련의 방법 중 첫 번째 방법 중 하나"라고 연구에 참여하지 않은 Google DeepMind의 Clare Lyle 박사와 Razvan Pascanu 박사는 썼습니다.
머신 마인드
딥 러닝은 AI를 훈련시키는 가장 인기 있는 방법중 하나입니다. 뇌에서 영감을 받은 이 알고리즘에는 인공 신경망을 형성하기 위해 연결되는 인공 뉴런 층이 있습니다.
알고리즘이 학습함에 따라 일부 연결은 강화되고 다른 연결은 감소합니다. 가소성(plasticity)이라고 하는 이 과정은 뇌가 인공 신경망을 학습하고 최적화하여 문제에 대한 최상의 답을 제공할 수 있는 방법을 모방합니다.
그러나 딥 러닝 알고리즘은 뇌만큼 유연하지 않습니다. 한 번 훈련을 받으면 체중이 고착됩니다. 새로운 작업을 학습하면 기존 네트워크의 가중치가 재구성되며, 그 과정에서 AI는 이전 경험을 "잊어버립니다". 일반적으로 이미지 인식이나 언어 처리와 같은 일반적인 용도에는 문제가 되지 않습니다. 그러나 더 정교한 알고리즘(예: 인간과 같은 환경을 학습하고 응답하는 알고리즘)을 훈련하고 사용할 때는 매우 문제가 됩니다.
라일(Lyle)과 파스카누(Pascanu)는 고전 게임을 예로 들며 "비디오 게임 퐁(Pong)에서 만점을 얻기 위해 신경망을 훈련시킬 수 있지만, 스페이스 인베이더(Space Invaders)를 플레이하기 위해 동일한 네트워크를 훈련시키면 퐁(Pong)에서 성능이 상당히 떨어집니다"라고 썼습니다.
'재앙적 망각(catastrophic forgetting)'이라고 불리는 이 현상을 해결하기 위해 컴퓨터 과학자들은 수년 동안 이 문제와 싸워 왔습니다. 쉬운 해결책은 오래된 데이터와 새로운 데이터를 조합하여 처음부터 새로운 작업을 위해 AI를 완전히 지우는 것입니다. 핵 옵션은 AI의 능력을 회복하지만 이전의 모든 지식도 지웁니다. 그리고 이 전략은 소규모 AI 모델에서는 가능하지만 대규모 언어 모델을 구동하는 것과 같은 거대한 AI 모델에는 실용적이지 않습니다.
백업하세요
이 새로운 연구는 딥 러닝의 기본 메커니즘인 역전파(back propagation)라고 불리는 과정에 추가되었습니다. 간단히 말해서, 역전파는 인공 신경망에 피드백을 제공합니다. 출력이 정답에 얼마나 가까운지에 따라 역전파는 당면한 작업을 학습할 때까지 알고리즘의 내부 연결을 조정합니다. 그러나 지속적인 학습을 통해 신경망은 빠르게 가소성을 잃고 더 이상 학습할 수 없습니다.
여기서 연구팀은 1959년에 발표된 '셀프리지의 대혼란(Selfridge's Pandemonium)'이라는 인상적인 이름을 가진 이론을 사용하여 이 문제를 해결하기 위한 첫 걸음을 내디뎠습니다. 이 이론은 우리가 어떻게 지속적으로 시각 정보를 처리하는지 포착하며 이미지 인식 및 기타 분야에서 AI에 큰 영향을 미쳤습니다.
연구팀은 AI 훈련을 위한 수백만 개의 이미지가 있는 클래식 저장소인 이미지넷(ImageNet)을 사용하여 표준 딥 러닝 모델이 수천 개의 순차적 작업에 어려움을 겪을 때 점차 가소성을 잃는다는 것을 확인했습니다. 예를 들어, 집과 고양이를 구별하거나 스쿨 버스의 정지 표지판을 구별하는 것은 인간에게는 말도 안 되게 간단합니다.
이 측정에서 성능 저하는 AI가 점차 학습 능력을 잃고 있음을 의미합니다. 딥 러닝 알고리즘은 이전 테스트에서 최대 88%의 시간 동안 정확했습니다. 그러나 2,000 작업에 이르렀을 때 가소성을 잃었고 성능은 기준선에 근접하거나 그 이하로 떨어졌습니다.
업데이트된 알고리즘이 훨씬 더 나은 성능을 발휘했습니다.
여전히 역전파를 사용하지만 약간의 차이가 있습니다. 인공 뉴런의 아주 작은 부분은 모든 주기에서 학습 중에 깨끗이 지워집니다. 전체 네트워크의 중단을 방지하기 위해 사용량이 적은 인공 뉴런만 재설정됩니다. 이 업그레이드를 통해 알고리즘은 최대 5,000개의 서로 다른 이미지 인식 작업을 전체적으로 90% 이상의 정확도로 처리할 수 있었습니다.
또 다른 개념 증명에서 팀은 알고리즘을 사용하여 시뮬레이션된 개미 모양의 로봇을 여러 지형에서 운전하여 피드백을 통해 얼마나 빨리 학습하고 조정할 수 있는지 확인했습니다.
지속적인 역전파를 통해 시뮬레이션된 동물은 모래, 포장 도로 및 바위 위를 하이킹하는 것과 같이 다양한 마찰이 있는 비디오 게임 도로를 쉽게 탐색했습니다. 새로운 알고리즘으로 구동되는 로봇은 최소 5,000만 걸음을 걸었습니다. 표준 알고리즘으로 구동되는 것들은 훨씬 더 일찍 충돌했고, 성능이 약 30% 더 일찍 0으로 떨어졌습니다.
이 연구는 딥 러닝의 가소성 문제를 해결하기 위한 가장 최근의 연구입니다.
이전 연구에서는 네트워크의 신호에 더 이상 반응하지 않는 소위 휴면 뉴런(dormant neuron)이 AI를 더 경직되게 만들고 훈련 전반에 걸쳐 AI를 재구성하여 성능을 향상시킨다는 사실을 발견했습니다. 그러나 그것들이 전부는 아니라고 라일과 파스카누는 썼습니다. AI 네트워크가 더 이상 학습할 수 없는 이유는 AI의 학습 방식을 불안정하게 만드는 네트워크 상호 작용 때문일 수도 있습니다. 과학자들은 여전히 이 현상의 표면만을 긁고 있을 뿐입니다.
한편, 실용적인 용도의 경우, AI에 관해서는 "시대에 발맞추기를 원한다"고 도하레는 말했습니다. 지속적인 학습은 단순히 고양이와 집을 구분하는 것이 아닙니다. 또한 자율 주행 자동차가 변화하는 날씨나 조명 조건에서 새로운 도로를 더 잘 탐색하는 데 도움이 될 수 있으며, 특히 안개가 밝은 햇빛으로 빠르게 바뀔 수 있는 미세 환경이 있는 지역에서 도움이 될 수 있습니다.
이 문제를 해결하는 것은 AI가 과거의 지식을 유지하면서 새로운 정보를 학습하고, 우리 인간처럼 끊임없이 변화하는 세상에 유연하게 적응할 수 있는 "흥미로운 기회"를 제공합니다. 라일(Lyle)과 파스카누(Pascanu)는 "이러한 역량은 무한히 훈련을 계속하고, 세상의 변화에 대응하고, 새로운 기술과 능력을 배울 수 있는 진정한 적응형 AI 시스템을 개발하는 데 매우 중요하다"라고 언급했습니다.
이상의 기사는 2024년 8월 22일 SingularityHub에 게재된 “This AI Learns Continuously From New Experiences—Without Forgetting Its Past”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : This AI Learns Continuously From New Experiences—Without Forgetting Its Past (singularityhub.com)