오픈AI가 개발 중인 차세대 인공지능 모델 ‘아스트라’에 중대한 사이버 공격 역량이 있을 가능성을 배제할 수 없다며 보안 기준을 충족하지 못한 일부 내부 활동을 중단했다.
오픈AI는 7일(현지시간) 아스트라의 사이버 보안 능력을 평가한 결과 이 같은 결정을 내렸다고 발표했다. 월스트리트저널(WSJ)은 이번 조치가 인공지능 개발사가 보안 우려를 이유로 모델 개발 속도를 공개적으로 늦춘 첫 사례 가운데 하나라고 보도했다.
이번 발표는 주요 인공지능 모델이 시험 과정에서 사전에 정해진 활동 범위를 벗어나거나 외부 인터넷과 시스템에 접근한 사례가 잇달아 공개되면서 보안 우려가 커진 가운데 나왔다.
오픈AI는 최근 며칠 동안 진행한 내부 평가에서 아스트라가 에이전트형 코딩과 사이버 보안 분야에서 상당한 진전을 보였다고 밝혔다. 전문가 평가까지 종합한 결과 자사의 ‘대비 체계’가 규정한 ‘중대’ 사이버 역량 수준에 해당할 가능성을 배제할 수 없다고 판단했다.
◈ 강화된 보안 기준 충족하지 못한 내부 활동 중단
오픈AI는 아스트라에 대한 성능 평가와 위험성 검증을 이어가는 한편, 강화된 보안 통제 기준을 충족하지 못한 관련 내부 활동을 일시 중단했다.
고성능 모델과 관련된 활동에는 격리 시험 환경과 네트워크·도구 접근 제한, 모델 가중치 보호 및 암호화, 샌드박스 실행 등의 강화된 보안 장치를 적용했다. 훈련과 평가를 포함한 아스트라의 모든 에이전트형 활동에는 위험 행동과 정렬 이상을 감지하는 감시 체계도 도입했다.
안전성 평가 범위도 확대했다. 오픈AI는 관련 정부 기관과 일부 인공지능 안전 연구기관에 아스트라의 역량 시험을 맡기고, 외부 평가기관에는 고위험 시험을 안전하게 수행하는 데 필요한 보안 통제 기준을 제공하기로 했다.
아스트라의 출시 일정은 공개하지 않았다. 오픈AI는 지난주 아스트라 내부 버전이 장기간 풀리지 않았던 수학과 이론 컴퓨터과학 문제 10개를 해결하거나 관련 연구에서 의미 있는 진전을 냈다고 밝혔다.
◈ 시험 범위 벗어난 AI 모델 사례 잇따라
지난달에는 GPT-5.6 솔과 내부 연구용 사전 출시 모델이 격리된 시험 환경에서 인터넷 접속 경로를 확보한 뒤 허깅페이스의 운영 인프라에 침입하는 사고가 발생했다. 오픈AI는 개발 중인 아스트라가 해당 사고에는 관여하지 않았다고 설명했다.
앤스로픽도 지난달 자사 인공지능 모델들이 사이버 보안 시험 과정에서 실제 기업 세 곳의 시스템에 접근한 사실을 공개했다. 가장 이른 사례는 지난 4월 발생했으며, 시험 환경의 설정 오류로 모델들이 외부 인터넷에 접속할 수 있었던 것으로 조사됐다.
메타플랫폼스는 이번 주 독립 평가기관으로부터 자사 인공지능 모델 가운데 하나가 시험 범위를 벗어나 외부 시스템에 접근했다는 통보를 받은 사실을 인정했다. 이 사례 역시 시험 환경의 설정 오류로 인터넷 접속이 허용되면서 발생한 것으로 전해졌다.
미국 연구기관 프런티어 시큐리티는 중국 스타트업 문샷AI의 ‘키미 K3’도 영국 인공지능안보연구소의 사이버 보안 시험 과정에서 격리 환경을 벗어나 인터넷에 접속했다고 밝혔다.
◈ 자율 취약점 악용·사이버 공격 수행하면 ‘중대’ 단계
오픈AI의 대비 체계는 인공지능으로 새롭게 발생할 수 있는 위험을 측정하고 완화하기 위한 기준이다. 회사는 2023년 12월 이 체계를 처음 공개했으며, 모델의 위험 역량을 ‘높음’과 ‘중대’ 단계로 구분했다. 이 가운데 ‘중대’는 가장 높은 위험 수준을 의미한다.
사람의 개입 없이 실제 주요 시스템에서 제로데이 취약점을 찾아 공격 수단을 개발하거나, 개략적인 목표만 전달받고도 보안이 강화된 대상을 상대로 새로운 사이버 공격 전략을 세워 처음부터 끝까지 실행할 수 있으면 ‘중대’ 단계에 도달한 것으로 간주한다.
오픈AI가 지난해 개정한 대비 체계에 따르면 모델이 ‘중대’ 수준에 이르면 관련 위험을 충분히 줄일 수 있는 보호 장치와 보안 통제를 갖출 때까지 추가 개발을 중단해야 한다.
비영리 인공지능 연구기관 팰리세이드 리서치의 제프리 래디시 사무총장은 오픈AI가 허깅페이스 침해 사실을 확인한 직후 아스트라 관련 개발을 중단했어야 했다고 WSJ에 말했다.
앤스로픽도 사이버 보안 위험을 고려해 모델 공개 방식을 조정했다. 지난 6월 사이버 보안과 생명과학 관련 역량에 안전장치를 적용한 ‘클로드 페이블 5’를 일반에 공개한 반면, 강화된 사이버 역량을 갖춘 ‘클로드 미토스 5’는 신뢰할 수 있는 기관을 중심으로 제한적으로 제공했다.