AI가 답을 주는 챗봇에서 스스로 판단하고 행동하는 에이전트로 진화하면서, 보안 업계의 화두도 ‘무엇을 막을 것인가’에서 ‘무엇을 허용하고 어디서 멈출 것인가’로 옮겨가고 있다. 에임인텔리전스(AIM Intelligence)가 2026년 9월 7일 서울에서 개최한 ‘AI RISK Conference Seoul 2026’은 이런 흐름을 정면으로 다룬 자리였다. 삼성화재가 후원한 이번 컨퍼런스에는 서울대학교, 숭실대학교, 금융보안원, 마이크로소프트, OpenAI 등에서 연구자와 실무자들이 모여 AI 에이전트 시대의 새로운 리스크를 논의했다.
공격 표면이 넓어진 자리, 프롬프트 인젝션
유상윤 에임인텔리전스 대표는 오프닝 스피치에서 “AI 리스크 관리는 AI 도입을 막기 위해서 있는 게 아니라 AI를 더 적극적으로, 더 안전하게 활용할 수 있도록 하는 기반입니다”라고 말했다. AI가 챗봇을 넘어 기업 데이터와 시스템에 접근해 판단하고 행동하는 에이전트로 진화하면서, 기업이 관리해야 할 리스크의 성격도 달라지고 있다는 진단이다.
1부 패널토크에서는 이병영 서울대학교 전기·정보공학부 교수, 김성웅 금융보안원 금융AI보안연구소장, 최대선 숭실대학교 AI안전성연구센터장이 참여해 프롬프트 인젝션과 금융권 AI 리스크, 에이전트의 권한과 실행 통제를 중심으로 의견을 나눴다. 프롬프트 인젝션은 AI가 스스로 행동에 나서는 에이전트 시대의 대표적 공격 방식으로 제시됐다. AI가 시스템 권한을 갖고 실제 행동을 수행할 수 있게 된 만큼, 그 권한을 조직이 어떻게 통제하고 책임질 것인지가 새로운 과제로 떠올랐다는 것이다.
사람보다 빠른 공격, 그래서 필요한 자율 방어
장광윤 Microsoft Korea Chief Security Advisor는 공격 코드가 소프트웨어 취약점의 공식 공개보다 먼저 등장하는 시간차가 중앙값 기준 약 15시간에 불과하다는 수치를 제시했다. 사람이 대응 체계를 갖추기도 전에 공격이 먼저 이뤄질 수 있다는 뜻이다. 이런 속도 격차는 마이크로소프트가 제시하는 ‘Agentic Security’, 즉 AI를 활용한 자율 방어 개념이 필요한 이유로 이어졌다.
Wana Tun OpenAI Applied AI Security Specialist는 OpenAI의 AI 사이버방어 프로그램인 ‘Daybreak’를 소개했다. Daybreak는 AI가 활용할 수 있는 범위와 사람의 승인이 필요한 지점, 즉 ‘Human Gate’를 설계하는 접근법이다. AI의 속도를 방어에 활용하면서도, 최종 승인과 책임의 지점은 사람에게 남겨두는 구조다.
텍스트를 넘어선 실패, 그리고 남는 질문
2부 패널토크에서는 피지컬 AI 안전부터 AI를 활용한 자율 방어, 기업 보안 워크플로우까지 논의가 이어졌다. 박하연 에임인텔리전스 CTO는 “AI의 실패가 더 이상 텍스트로 끝나지 않는다”고 말했다. AI가 로봇이나 자율주행처럼 물리적 시스템과 결합하는 방향으로 나아가면서, 오류나 실패의 결과가 화면 속 문장이 아니라 실제 행동과 사고로 이어질 수 있다는 지적이다.
이날 논의를 관통한 질문은 결국 하나로 모인다. AI가 강력해질수록 무엇을 허용하고 어디서 멈출지, 그리고 그 결정에 대한 책임을 누가 질지가 새로운 보안 기준이 되고 있다는 것이다. 프롬프트 인젝션 대응부터 자율 방어, Human Gate 설계까지 이날 나온 논의들은 각각 다른 층위를 다뤘지만, 모두 이 하나의 질문으로 되돌아왔다.