스스로 판단하고 업무를 수행하는 인공지능(AI) 에이전트가 확산하면서, 이들의 행동 범위와 실행 권한을 통제하는 일이 기업 사이버 보안의 주요 과제로 떠오를 것이라는 전망이 나왔다.
구글 클라우드는 10일 발표한 내년 사이버 보안 전망 보고서에서 AI 에이전트의 개발·운영 과정에 신뢰할 수 있는 보안 체계를 마련해야 한다고 강조했다. AI 자체를 보호하는 데서 나아가 에이전트가 활용하는 데이터와 도구, 판단과 실행 과정까지 관리해야 한다는 설명이다.
크리스 베츠 구글 클라우드 최고정보보호책임자(CISO)는 “많은 기업들이 실제 업무 전반에서 대규모언어모델(LLM)이나 AI 에이전트를 대규모로 활용하고 있다”고 밝혔다. 그는 AI 에이전트가 개발 속도와 유연성을 높이면서 기업용 소프트웨어의 구조에도 변화가 나타날 것으로 내다봤다.
베츠 CISO는 “정해진 규칙만 따르는 개별 프로그램을 쓰던 방식에서 벗어나, 스스로 움직이는 AI 에이전트들이 서로 연결된 복합 시스템으로 전환되고 있다”고 설명했다. 이어 여러 조직이 에이전트 개발에 속도를 내는 만큼, 개발과 운영 방식도 안전하고 신뢰할 수 있도록 설계해야 한다고 당부했다.
◈입력 정보부터 실행 권한까지… 의사결정 과정 추적 필요
베츠 CISO는 앞으로의 보안 위험을 서버 장애나 데이터베이스 정보 유출에 한정해서는 안 된다고 지적했다. 그는 “AI 에이전트가 업무를 맡는 시대가 본격화되면 에이전트가 의존하는 데이터와 기술 기반도 함께 보호해야 한다”고 말했다.
카르틱 나라얀 구글 클라우드 최고제품·고객책임자는 에이전트의 의사결정 과정을 되짚어볼 수 있는 기록 체계를 강조했다. 그는 “AI 에이전트가 중요한 결정을 내렸다면 그 결정이 내려진 전 과정을 다시 확인할 수 있어야 한다”고 밝혔다.
구체적으로는 에이전트에 입력된 정보와 판단 과정, 사용한 도구와 전달한 값, 실행을 허용한 규칙 등을 파악할 수 있어야 한다고 설명했다. 최종 결과뿐 아니라 그 결과에 이르기까지 어떤 정보와 권한이 작용했는지를 확인해야 한다는 취지다.
이러한 기록이 충분하지 않으면 문제가 발생했을 때 원인을 규명하고 수정하기 어려워진다는 점도 짚었다. 에이전트가 내린 결정의 적절성을 검증하기 위해서도 판단과 실행의 경로를 남기는 일이 필요하다고 강조했다.
◈배포 전 취약점 점검… 부서별 무분별한 도입도 경계
구글 클라우드 산하 사이버 보안 전문 조직인 맨디언트의 찰스 카마칼 컨설팅 최고기술책임자(CTO)는 자율형 업무 절차를 실제 서비스에 적용하기 전에 모의 침투 테스트를 실시해야 한다고 조언했다.
카마칼 CTO는 “시스템에 침투하려고 시도하고 안전장치를 우회하거나 AI 모델의 판단을 조작해보는 방식으로 배포 전에 약점을 찾아야 한다”며 사전 점검의 중요성을 강조했다. 실제 공격 상황을 가정해 에이전트와 안전장치가 어떻게 작동하는지 확인해야 한다는 설명이다.
중앙 관리나 부서 간 협의 없이 에이전트를 만들어 사용하는 상황에도 우려를 나타냈다. 그는 이를 ‘에이전트 확산’ 현상으로 설명하며, 직원들이 회사의 공식 관리 밖에서 임의로 IT 도구를 사용하는 ‘섀도 IT’가 AI 에이전트 환경에서 새로운 형태로 나타난 것이라고 지적했다.
카마칼 CTO는 관리 체계가 뒷받침되지 않으면 개별 부서의 도입을 넘어 기업 전체의 AI 에이전트 활용이 위험해질 수 있다고 경고했다.
◈자율성 범위 정하고 에이전트 간 업무 인계 관리해야
산드라 조이스 구글 위협 인텔리전스 부문 부사장은 여러 에이전트가 함께 일하는 환경을 대규모로 운영하려면 관리 체계와 협업 구조를 먼저 갖춰야 한다고 밝혔다. 개별 에이전트의 기능뿐 아니라 에이전트 사이의 정보 공유와 업무 인계도 관리 대상으로 제시했다.
조이스 부사장은 “핵심은 자율적으로 행동할 수 있는 범위를 단계별로 정하고 에이전트들이 필요한 정보를 공유하며, 전문 에이전트 사이에서 업무를 정확히 넘겨주는 중앙 조정자를 두는 것”이라고 강조했다.
▶ 기사제보 및 보도자료 press@cdaily.co.kr
- Copyright ⓒ기독일보, 무단전재 및 재배포 금지
