오픈AI와 앤트로픽, 메타, 마이크로소프트 등의 주요 인공지능(AI) 연구진이 AI가 인간 연구자를 대신해 더 발전된 AI를 연구·개발하는 ‘AI 연구 자동화’가 급속도로 진행될 경우 인간의 이해와 통제 범위를 넘어서는 ‘지능 폭발(intelligence explosion)’이 발생할 수 있다고 경고했다.
28일 현지시간 월스트리트저널(WSJ)에 따르면 오픈AI 수석과학자 야쿠프 파초키와 앤트로픽 공동창업자 잭 클라크, 마이크로소프트 최고과학책임자 에릭 호비츠, 메타 AI 연구 담당 부사장 던 송 등은 공동 논문을 통해 AI 연구 자동화의 위험성을 제기했다.
AI 연구의 선구자로 꼽히는 제프리 힌턴과 요슈아 벤지오도 공동 저자로 참여했다. 연구진은 AI가 스스로 연구·개발 과정에 참여하는 수준이 높아질수록 기존에는 수년에 걸쳐 진행됐을 기술 발전이 수개월이나 그보다 짧은 기간으로 압축될 가능성이 있다고 전망했다.
이들은 특히 AI가 연구 과정에서 인간의 역할을 빠르게 대신할 경우 사람이 AI 시스템에서 발생하는 문제를 직접 발견할 기회가 줄어들 뿐 아니라, 문제를 이해하고 해결하는 데 필요한 인간의 전문성 자체도 약화될 수 있다고 지적했다.
AI 연구 자동화 이미 확대…R&D 곳곳에 활용
AI를 활용한 연구 자동화는 주요 기업의 연구개발 현장에서 이미 빠르게 확대되고 있다.
앤트로픽은 자사의 AI 모델 클로드가 회사 연구개발의 26%를 ‘주도’하고 있으며, 전체 R&D 업무의 90% 이상에서 어떤 형태로든 활용되고 있다고 밝혔다.
오픈AI 역시 2028년까지 완전히 자동화된 AI 연구원을 개발한다는 목표를 추진하고 있다. 현재 오픈AI 연구자의 약 70%가 연구 과정에서 4개 이상의 AI 에이전트를 활용하는 것으로 전해졌다.
연구진은 AI가 단순히 연구자를 보조하는 단계를 넘어 실험을 설계하고 결과를 분석하며 다음 연구 방향까지 결정하게 될 경우 기술 발전 속도가 인간의 감독 능력을 앞지를 가능성을 우려했다.
AI 에이전트 통제 이탈 사례도…“인간만으로 감시 어려워”
연구진은 실제 AI 에이전트가 예상하지 못한 행동을 한 사례도 위험 신호로 제시했다.
오픈AI의 AI 에이전트 수백 개가 사이버보안 테스트를 진행하는 과정에서 통제된 샌드박스 환경을 벗어나 허가받지 않은 방식으로 인터넷에 접속하고 허깅페이스를 공격한 사례가 대표적으로 언급됐다.
당시 작업 규모가 커 외부 연구진 역시 AI를 이용해 에이전트들의 행동을 분석해야 했던 것으로 전해졌다. 오픈AI는 이후 안전·모니터링 장치를 보완하기 위해 일부 훈련을 중단했고, 새로운 에이전트의 이상 행동이 확인된 뒤 고성능 모델 훈련을 다시 멈춘 사례도 있었다.
오픈AI와 앤트로픽, 메타, 구글 등도 테스트 과정에서 AI 모델이 개발자의 예상이나 의도와 다른 행동을 보인 사례가 있었음을 인정한 바 있다.
던 송 메타 AI 연구 담당 부사장은 “이미 AI 시스템을 이용해 에이전트가 무엇을 하고 있는지 감시해야 하는 단계에 와 있다”며 인간의 감독만으로는 충분하지 않은 상황이 나타나고 있다는 취지로 설명했다.
연구진 “극단적 경우 인간이 AI 통제 잃을 수도”
연구진은 AI 연구 자동화가 통제되지 않은 상태에서 급속도로 발전할 경우 극단적인 상황에서는 인간이 AI 시스템에 대한 실질적인 통제력을 잃을 가능성까지 있다고 경고했다.
논문에서는 이러한 상황이 인간 사회에 중대한 영향을 미칠 수 있으며 최악의 경우 인류의 주변화나 생존 자체를 위협하는 결과까지 초래할 가능성을 배제할 수 없다고 지적했다.
이에 연구진은 각국 정부가 AI 기업들이 자체 모델 개발 과정에서 연구 자동화를 어느 정도까지 적용하고 있는지 파악할 수 있도록 투명성을 높여야 한다고 제안했다.
또 고도로 발전한 AI 시스템이 불안정한 상태로 개발·사용되는 것을 막기 위해 국제사회가 공통된 안전 기준과 감독 체계를 마련할 필요가 있다고 촉구했다.
AI 국제 규제 놓고 국가 간 입장차
다만 AI에 대한 국제적인 감독과 규제를 둘러싸고 각국의 입장에는 차이가 있다.
도널드 트럼프 미국 대통령은 지난 22일 유엔총회 연설에서 AI를 통제하기 위한 국제적인 체계에 부정적인 입장을 밝혔다. 그는 미국이 AI에 대한 이른바 ‘글로벌리스트 통제 계획’을 거부할 것이라고 말했다.
AI 기술 발전을 가속해야 한다는 입장과 안전 확보를 위해 국제적인 감독 장치가 필요하다는 주장이 맞서는 가운데, 연구진은 AI가 스스로 AI 연구를 수행하는 단계로 빠르게 이동하고 있다는 점에 주목했다.
특히 AI 연구 자동화가 기술 발전 속도를 크게 끌어올릴 가능성이 있는 만큼, 인간이 AI 시스템의 작동 과정을 이해하고 통제할 수 있는 능력을 유지하기 위한 감독과 안전 체계를 사전에 마련해야 한다고 강조했다.
▶ 기사제보 및 보도자료 press@cdaily.co.kr
- Copyright ⓒ기독일보, 무단전재 및 재배포 금지
