여러 금융사가 동일한 AI 모델을 쓴다. AI가 동시에 같은 결론을 내리면 무슨 일이 벌어질까.
2010년 5월 6일 오후 2시 32분, 미국 뉴욕 증시가 갑자기 폭락했다. 다우존스 지수가 998포인트 가까이 급락했다가 약 36분에 걸쳐 대부분 회복됐다. 이른바 '플래시 크래시(Flash Crash)'였다. 원인 중 하나로 지목된 것이 알고리즘 트레이딩이었다. 여러 알고리즘이 비슷한 신호를 받아 동시에 매도 주문을 쏟아냈고, 그것이 시장을 순식간에 무너뜨렸다.
이후 16년이 지났다. 알고리즘은 AI로 진화했고, 금융 의사결정에 개입하는 범위는 주식 매매를 훨씬 넘어섰다. 대출 심사, 보험료 산정, 자산배분, 이상거래 탐지까지 AI가 들어와 있다. 그리고 그 AI 상당수가 같은 파운데이션 모델을 기반으로 돌아간다.
'동조화'라는 이름의 리스크
금융안전위원회(FSB)는 2024년 보고서에서 AI가 금융 시스템에 미치는 구조적 취약성을 네 가지로 정리했다. 제3자 의존성 집중, 시장 동조화, 사이버 리스크, 모델 리스크다.
이 중 동조화는 가장 이해하기 어려우면서도 가장 위험한 리스크다. 동조화란 여러 금융사의 AI가 같은 시점에 같은 방향으로 움직이는 현상이다. A은행 AI도, B보험사 AI도, C자산운용사 AI도 같은 데이터를 학습하고 같은 모델 구조를 쓴다면, 특정 시장 신호에 같은 반응을 보일 가능성이 높다.
모두가 동시에 같은 자산을 팔거나 같은 유형의 대출을 줄이면, 그 충격은 개별 금융사 차원을 넘어 시스템 전체로 번진다.
금융위 가이드라인도 이 지점을 명시했다. 금융안정성 원칙의 핵심 내용 중 하나가 "AI 활용에 따른 금융시장 동조화 리스크 관리"다. AI가 금융 시스템 전반의 안정성에 미치는 영향을 금융사가 사전에 평가하고 관리해야 한다는 것이다.
제3자 의존성 문제
동조화 리스크를 더 깊게 만드는 것이 제3자 의존성이다. 국내 금융사 대부분은 AI 모델을 자체 개발하지 않는다. 빅테크나 AI 전문 기업이 만든 파운데이션 모델을 가져다 쓰거나, 클라우드 기반 AI 서비스를 구독하는 방식이다.
문제는 같은 외부 모델에 의존하는 금융사가 많아질수록, 그 모델 하나에 오류가 생겼을 때 피해가 동시에, 넓게 퍼진다는 점이다. FSB는 상위 3개 클라우드 서비스 제공자가 전체 클라우드 사용량의 약 4분의 3을 차지하고 있으며, 상위 3개 AI 모델 제공사가 2024년 기준 전체 사용 모델의 44%를 점유하고 있다고 밝혔다. 2022년 18%에서 두 배 이상으로 집중도가 높아진 것이다.
금융사가 AI 모델의 내부 구조를 충분히 이해하지 못한 채 쓰는 경우, 오류를 사전에 탐지하기도 어렵다. 이번 가이드라인은 외부 AI 서비스를 도입할 때 금융사가 해당 서비스의 신뢰성과 안정성을 검증할 의무를 명시했다. 그러나 금융사가 글로벌 빅테크의 AI 모델을 실제로 얼마나 깊이 검증할 수 있는지는 별개의 문제다.
'사이버 리스크'의 새로운 문제
AI는 사이버 리스크의 지형도 바꾸고 있다. 문제는 금융권이 AI를 활용하고 있지만, 이를 공격하는 공격자도 AI를 쓴다는 점이다. 딥페이크를 활용한 신원 위장, AI로 생성한 피싱 이메일, 금융사 AI 모델을 역으로 분석해 취약점을 찾는 적대적 공격(Adversarial Attack)이 현실화되고 있다.
이번 가이드라인의 프런티어 AI 조항이 권한 우회·행동 은폐·결과 조작을 이상행동으로 특정한 것도 이 맥락이다. 고성능 AI가 외부 공격에 의해 오염되거나 스스로 예상치 못한 방향으로 작동할 경우, 그 영향이 단일 금융사를 넘어 연결된 시스템 전체로 번질 수 있다는 우려가 깔려 있다.
이에 금융위는 지난 5월 22일 정보보호 최고책임자(CISO) 간담회에서 이미 이 문제를 다뤘다. 금융사 정보보호최고책임자들이 모여 고성능 AI 관련 보안위협을 공유한 자리였다. 단순한 해킹 방어를 넘어 AI 모델 자체의 무결성을 어떻게 유지할 것인가가 화두였다.
긴급정지가 작동하려면
금융위 가이드라인은 프런티어 AI 이상행동에 대응해 긴급정지(Kill Switch) 기능을 갖출 것을 요구하고 있다.
이는 말은 간단하지만 실제로 긴급정지가 작동하려면 전제조건이 있다. AI가 이상행동을 하고 있다는 것을 먼저 탐지해야 한다. 탐지하려면 AI의 판단 과정을 실시간으로 모니터링할 수 있어야 한다. 그 모니터링을 누가, 어떻게 하는지가 실무의 핵심이다.
이런 가운데 국내 금융사 중 이 수준의 AI 모니터링 체계를 갖춘 곳이 얼마나 되는지는 확인되지 않는다. 가이드라인은 요건을 제시했지만 현황 점검은 이후 TF에서 다룰 예정이다.
누가 감독할까
동조화 리스크, 제3자 의존성, 사이버 리스크. 세 가지 모두 개별 금융사 차원의 문제가 아니다. 시스템 전체를 조망하는 감독자가 필요한 상황이다.
현재 국내에서 이 역할을 맡을 기관은 금융위원회와 금융감독원이다. 그런데 AI 리스크를 실시간으로 감독하기 위해서는 기존 검사·감독 체계로는 한계가 있다. 금융위는 이번 가이드라인에서 "AI를 활용한 AI 전용 감독 방안"을 별도로 마련하겠다고 했다. AI로 AI를 감독한다는 구상이다. 구체적인 방법론은 아직 공개되지 않았다.
다만 FSB는 국제 공조 없이는 이 리스크를 통제하기 어렵다고 봤다. 특정 국가의 금융사가 쓰는 AI 모델이 다른 나라 금융 시장에 연쇄 충격을 줄 수 있기 때문이다. 국내 감독 체계가 아무리 세밀해도, 글로벌 AI 공급망의 리스크를 혼자 막을 수는 없는 노릇이다.
2010년 플래시 크래시 이후 미국은 서킷브레이커를 강화했다. 알고리즘이 만든 위기에 인간이 개입할 수 있는 장치를 넣은 것이다. AI 시대의 금융은 그보다 훨씬 복잡한 연결망 위에 있다. 긴급정지 버튼이 있다고 해서, 그 버튼을 눌러야 할 순간을 알 수 있는 것이 아니라는 점이 금융권의 해결해야 할 숙제가 되고 있다.
