비즈니스 기회
연방준비제도, AI 안전 운영을 위해 'AI 파멸자' 임명
미국 국립표준기술연구소(NIST) 산하 미국 AI 안전 연구소(US AI Safety Institute)가 마침내 리더십 팀을 발표했습니다.
AI 안전 책임자로 임명된 폴 크리스티아노(Paul Christiano)는 인간 피드백으로부터 강화 학습(RLHF)이라는 기본 AI 안전 기술을 개척한 전직 OpenAI 연구원이지만 "AI 개발이 '파멸'로 끝날 가능성이 50%"라고 예측한 것으로도 유명합니다. 크리스티아노의 연구 배경은 인상적이지만, 일각에서는 NIST가 이른바 'AI 파멸자'를 임명함으로써 많은 비평가들이 단순한 추측으로 간주하는 비과학적 사고를 조장할 위험이 있다고 우려합니다.
NIST의 사명은 "경제 안보를 강화하고 삶의 질을 향상시키는 방식으로 측정 과학, 표준 및 기술을 발전시킴으로써 미국의 혁신과 산업 경쟁력을 촉진"함으로써 과학 발전에 뿌리를 두고 있습니다. 효과적인 이타주의자들은 "가능한 한 다른 사람들에게 이익이 되는 방법을 알아내기 위해 증거와 이성을 사용"한다고 믿고, 장기주의자들은 "미래 세대를 보호하기 위해 훨씬 더 많은 일을 해야 한다"고 믿는데, 둘 다 더 주관적이고 의견에 기반합니다.
크리스티아노는 지난해 뱅크리스 팟캐스트에서 "AI가 인간을 장악해 인간이 죽을 확률이 10-20%에 달한다. 전반적으로 인간 수준의 AI 시스템을 갖춘 직후 파멸할 확률이 50%까지 올라갈 수 있다"는 의견을 공유한 바 있습니다.
"우리가 죽을 가능성이 가장 높은 방법은 AI가 갑자기 나타나 모든 사람을 죽이는 것이 아니라 모든 곳에 많은 AI를 배치하는 것과 관련이 있습니다. 어떤 이유로든 이 모든 AI 시스템이 우리를 죽이려고 한다면, 그들은 분명히 우리를 죽일 것입니다."라고 Christiano는 말했습니다.
이른바 'AI 파멸론자'를 비판하는 사람들은 가상의 킬러 AI 시스템이나 실존적 AI 위험에 대해 과장된 이야기에 초점을 맞추면 인류가 환경, 개인 정보 보호, 윤리 및 편견 문제를 포함하여 현재 인식되는 AI의 피해에 초점을 맞추지 못할 수 있다고 경고했습니다. 이 분야에서 중요한 윤리적 작업을 방해하는 AI 파멸론자들에 대해 경고해 온 워싱턴 대학의 컴퓨터 언어학 교수 에밀리 벤더(Emily Bender)는 조 바이든(Joe Biden)의 AI 행정명령에 "이상한 AI 파멸자 담론"이 포함되었기 때문에 "NIST는 이러한 환상적 시나리오에 대해 우려하도록 지시받았다"며 "이것이 크리스티아노의 임명으로 이어진 근본적인 문제"라고 말했습니다.
AI 안전 책임자로서 크리스티아노는 현재 및 잠재적 위험을 모니터링해야 할 것으로 보입니다. 상무부의 보도 자료에 따르면 그는 "국가 안보 우려 기능에 대한 모델 평가에 중점을 두고 프론티어 AI 모델의 테스트를 설계 및 수행하고, 평가 프로세스를 조정하고, 프런티어 모델 안전과 보안을 강화하기 위한 위험 완화"를 구현할 것이라고 밝혔습니다.
Christiano는 AI 위험을 완화한 경험이 있습니다. 그는 OpenAI를 떠나 ARC(Alignment Research Center)를 설립했으며, 상무부는 이를 "이론적 연구를 발전시켜 미래의 기계 학습 시스템을 인간의 이익에 맞추려는 비영리 연구 조직"이라고 설명했습니다. ARC의 임무 중 일부는 AI 시스템이 인간을 조작하거나 속이기 위해 진화하고 있는지 테스트하는 것이라고 ARC의 웹사이트는 밝혔습니다. ARC는 또한 AI 시스템이 "우아하게" 확장될 수 있도록 지원하는 연구를 수행합니다.
크리스티아노의 연구 경력 때문에 미국 과학자 연맹(Federation of American Scientists)의 신흥 기술 및 국가 안보 담당 부국장인 디비안시 카우시크(Divyansh Kaushik)와 같은 일부 사람들은 그가 안전 연구소를 이끌기에 좋은 선택이라고 생각합니다. X(구 트위터)에서 카우시크는 안전 연구소가 AI로 인한 화학적, 생물학적, 방사능 및 핵 위험을 완화하도록 설계되었으며 크리스티아노는 이러한 AI 모델을 테스트할 수 있는 "매우 적격"이라고 썼습니다.
지나 레이몬도(Gina Raimondo) 미국 상무부 장관은 보도 자료에서 "책임 있는 AI에 대한 글로벌 리더십을 보호하고 AI의 위험을 완화하고 그 이점을 활용하기 위한 우리의 사명을 완수할 수 있도록 하기 위해 우리는 미국이 제공해야 하는 최고의 인재가 필요하다"고 말했습니다. "이것이 바로 우리가 해당 분야에서 최고인 이 사람들을 미국 AI 안전 연구소 경영진 리더십 팀에 합류하도록 선택한 이유입니다."
벤더는 Ars와의 인터뷰에서 "AI 안전 내러티브의 근본적인 문제는 그것이 사람들을 그림에서 벗어나게 한다는 것"이라고 말했다. "하지만 우리가 걱정해야 할 것은 기술이 자율적으로 하는 일이 아니라 사람들이 기술을 가지고 무엇을 하느냐 하는 것입니다."
Christiano는 AI 파멸에 대한 자신의 견해를 설명했습니다
Ars는 논평을 듣기 위해 Christiano에게 즉시 연락할 수 없었지만, 그는 AI 종말과 책임 있는 AI 확장에 대한 자신의 견해를 설명했습니다. LessWrong에 게시된 블로그에서 그는 AI 파멸에 대해 자신이 믿는 것에 대해 "종종 혼란을 초래하는" 두 가지 차이점이 있다고 설명했습니다.
첫 번째 구분은 "죽는 것('멸종 위험')과 나쁜 미래를 갖는 것('실존적 위험')의 차이"라며 "예를 들어 AI 시스템이 모든 사람을 죽이지는 않는 등 멸종이 없는 나쁜 미래가 올 가능성이 높다"고 생각합니다. 크리스티아노는 "나쁜 미래"의 한 가지 버전은 "세계가 AI 시스템에 의해 지배되고, 우리의 가치를 공유하거나 우리를 돕는 데 많은 관심을 갖는 AI 시스템을 구축할 수 없는 결과"이며, 이는 "객관적으로 끔찍한 미래가 아닐 수도 있다"고 말했습니다.
"하지만 그것은 인류가 자신의 운명에 대한 통제권을 포기했다는 것을 의미하며, 나는 그것이 꽤 나쁘다고 생각한다"고 크리스티아노는 썼습니다.
크리스티아노는 "우리가 AI로 인해 죽지는 않지만, AI와 다른 기술이 세상의 변화 속도를 크게 가속화하기 때문에 곧 다른 무언가가 우리를 죽일 가능성이 높다고 생각한다"고 썼습니다.
이 글에서 크리스티아노는 AI가 장악할 확률(22%), "대부분의" 인간이 노동력을 쓸모없게 만드는 "강력한 AI를 구축한 후 10년 이내에" 사망할 것(20%), "인류가 강력한 AI를 구축한 지 10년 이내에 우리의 미래를 돌이킬 수 없을 정도로 엉망으로 만들었다"(46%)고 추정했습니다.
2023년 크리스티아노의 비영리 ARC는 OpenAI의 GPT-4가 전 세계를 장악할 수 있는지 여부를 테스트하는 데 도움을 주었고 궁극적으로 GPT-4가 "자율 복제"에 "비효율적"이기 때문에 실존적 위험을 초래하지 않는다는 결론을 내렸습니다.
ARC는 AI 시스템이 인간을 조작하는 것에 대해 우려하고 있기 때문에 Christiano는 LessWrong에서 AI 시스템이 더 똑똑해짐에 따라 기능 이득 연구가 더 중요해진다고 언급했습니다. 이는 안전 연구소에서 시스템을 평가하는 그의 업무가 중요한 업무가 될 것임을 시사합니다.
"이 시점에서 우리는 평가 중에 사고를 일으키는 것보다 모델 기능을 과소 평가하고 위험에 빠뜨릴 위험이 훨씬 더 큰 것 같습니다."라고 Christiano는 썼습니다. "리스크를 신중하게 관리하면 그 비율을 매우 극단적으로 만들 수 있다고 생각하지만, 물론 그렇게 하려면 실제로 작업을 수행해야 합니다."
AI 개발 일시 중지에 대한 Christiano의 견해
AI의 실존적 위험에 대해 경고하는 사람은 크리스티아노 뿐만이 아닙니다. 지난 한 해 동안 OpenAI 경영진부터 28개국 지도자에 이르기까지 모든 사람이 잠재적으로 "재앙적인" AI 피해에 대해 경종을 울렸습니다. 그러나 메타의 수석 AI 과학자 얀 르쿤(Yann LeCun)과 같은 비평가들은 "실존적 위험을 둘러싼 모든 논쟁은 과장되고 매우 시기상조"라고 주장하며 이러한 경고에 반박했습니다.
AI Safety Institute에서 Christiano는 AI를 구축, 테스트 및 투자하는 사람들이 AI 개발 속도가 위험 평가를 앞지르고 있다고 주장하는 시기에 실제 AI 위험을 완화할 수 있는 기회를 갖게 될 것입니다. 그리고 열띤 논쟁이 벌어지고 있는 일론 머스크의 말이 사실이라면, AI는 "아마도 내년 말쯤에 어떤 인간보다 똑똑해질 것" 입니다.
예상치 못한 상황을 최소화하기 위해 Christiano의 팀은 모델이 더 스마트해지고 미세 조정이 더 위험해질 것으로 예상하기 때문에 위험 평가를 개선해야 합니다. 지난해 10월, 효과적인 이타주의 포럼에서 크리스티아노는 AI 기업을 견제하기 위한 규제가 필요하다고 썼습니다.
크리스티아노는 "충분히 좋은 책임 있는 확장 정책(RSP)은 주요 보호 조치에 대한 긴급성을 조성하고 AI 개발의 일시 중지 가능성을 높임으로써 위험을 극적으로 줄일 수 있다"며 "이러한 조치를 충분히 신속하게 구현할 수 없다면 그렇게 할 수 있다"고 설명했습니다.
크리스티아노는 확장에 대한 규제에도 불구하고 "급속한 AI 개발로 인한 위험은 매우 크며, 매우 우수한 RSP조차도 그 위험을 완전히 제거하지는 못할 것"이라고 경고했습니다.
실존적 위험을 우려하는 일부 AI 비평가들은 지난 1년 동안 보호 조치가 개선될 때까지 AI 프론티어 개발을 일시적으로 중단할 것을 촉구했지만, 크리스티아노는 상당한 비용 없이 통합된 글로벌 일시 중지만이 올 수 있다고 주장했습니다.
현재 크리스티아노는 "현재 위험 수준이 충분히 낮기 때문에 기업이나 국가가 증가하는 위험을 감지하고 대응하기 위한 충분히 좋은 계획이 있다면 AI 개발을 계속할 수 있다고 생각하기 때문에 일시 중지가 필요하지 않다"고 말했습니다.
이상의 기사는 2024년 4월 18일 ArsTechnica에 게재된 “Feds appoint “AI doomer” to run AI safety at US institute”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : https://arstechnica.com/tech-policy/2024/04/feds-appoint-ai-doomer-to-run-us-ai-safety-institute/