금융위가 7대 원칙을 내놨다. 2021년 이후 세 차례 나뉘어 운영해온 가이드라인을 하나로 합쳤다. 무엇이 달라질까.
금융회사가 AI로 대출 심사를 하면, 그 AI는 어떤 기준으로 판단해야 하는가. AI가 틀렸을 때 책임은 누가 지는가. 금융사가 AI를 외부 업체에서 빌려 쓴다면, 그 업체도 규제를 받아야 하는가.
금융당국이 6월 18일 가지고 나온 '금융분야 인공지능 가이드라인' 개정안을 보면, 답이 있다.
금융위원회는 2021년 '금융분야 AI 가이드라인'을 처음 냈다. 이후 2022년 '금융분야 AI 활용 내부통제 가이드라인', 2023년 '금융분야 AI 신뢰성 확보방안'이 각각 따로 나왔다. 금융사 입장에서는 어떤 기준이 적용되는지 파악하기 위해 세 개 문서를 동시에 들여다봐야 했다.
'금융분야 인공지능 가이드라인' 개정안은 이 셋을 하나로 통합했다. 더불어 기존 가이드라인은 금융회사 중심이었는데, 이번엔 '금융거래에 영향을 미치는 핀테크 기업'까지 적용 범위에 포함했다. AI 서비스를 금융사에 공급하는 테크 기업도 이제 이 기준을 따라야 한다.
7대 원칙의 구조
이번 가이드라인의 뼈대는 7대 원칙이다. 거버넌스, 합법성, 보조수단성, 신뢰성, 금융안정성, 신의성실, 보안성이다.
원칙 하나하나를 뜯어보면 흥미로운 지점이 있다. 거버넌스는 최고경영자를 포함한 경영진이 AI 개발과 활용에 책임을 지고, 의사결정기구와 내규를 갖춰야 한다는 원칙이다. 합법성은 금융 및 AI 관련 법규를 철저히 준수해야 한다는 것이고, 신의성실은 금융소비자 이익을 최우선으로 해야 한다는 원칙이다.
이 중에서 이번 개정에서 가장 뚜렷하게 강화된 건 두 가지다. 보조수단성 원칙의 명문화와, 프런티어 AI 대응 조항의 신설이다.
가장 큰 변화: 보조수단성 원칙
이번 가이드라인은 "현재 단계에서 AI는 업무의 보조수단"이라는 보조수단성 원칙을 명시했다. 최종 의사결정과 그에 따른 책임은 반드시 임직원이 수행해야 한다는 내용이다.
이와 함께 두 가지 개념을 구분한다. Human-in-the-Loop와 Human-out-of-the-Loop다. Human-in-the-Loop는 AI가 판단을 내리더라도 최종 결정은 사람이 하는 구조다.
Human-out-of-the-Loop는 사람의 개입 없이 AI가 처음부터 끝까지 결정하는 구조다. 가이드라인은 소비자의 권리나 이익에 중대한 영향을 미치는 AI일수록 Human-in-the-Loop 구조를 원칙으로 하도록 했다.
그렇다면 AI가 판단하고 사람이 최종 결재만 누르는 구조라면, 그것이 진정한 Human-in-the-Loop일까. 가이드라인만으로 이 물음에 답하긴 아직 힘들다.
두 번째 변화: 프런티어 AI 조항 신설
가장 새로운 항목이다. 기존 가이드라인에는 없던 내용으로, 고성능 AI 모델 즉 프런티어 AI가 이상행동을 보일 수 있다는 점을 명시하고, 이에 대한 대응 절차를 갖출 것을 요구한다. 긴급정지(Kill Switch) 기능 마련도 포함됐다.
가이드라인이 적시한 이상행동 유형은 '권한 우회, 행동 은폐, 결과 조작' 세 가지다.
쉽게 말하자면 AI가 설정된 권한 밖의 행동을 시도하거나, 자신이 어떤 판단을 내렸는지를 운영자에게 숨기거나, 학습 과정이나 출력값을 의도적으로 왜곡하는 행위다. 금융업무에 고성능 AI를 도입할 경우 이 세 가지 유형의 이상행동을 탐지하고 차단할 수 있는 절차가 있어야 한다는 것이다.
이 조항이 들어온 데는 배경이 있다. 지난 5월 22일 금융위는 '고성능 AI 관련 금융권 보안위협 대응'을 주제로 별도 간담회를 열었다. 주제는 이었다. 이날 은행·증권·카드 등 주요 금융사 정보보호최고책임자(CISO)들이 참석했고, AI 능력이 고도화될수록 기존 보안 체계로는 감당하기 어려운 위협이 생긴다는 문제의식이 이미 공유되면서 이번 가이드라인에 그 결과물이 반영된 것이다.
자율규제의 한계
이 가이드라인의 성격은 자율규제다. 법령이 아니다. 금융사가 지키지 않는다고 해서 곧바로 제재를 받지는 않는다. 금융위 스스로도 가이드라인 성격을 "자율 규제 지침"이라고 명시했다.
이는 가이드라인이 가진 구조적 한계이기도 하다. 보조수단성 원칙을 제시했지만 실제로 그 통제가 작동하는지를 확인할 의무적 절차가 없다. 프런티어 AI 이상행동 탐지 절차를 갖추라고 했지만 갖추지 않았을 때의 결과는 명시되지 않았다. 금융사가 어떤 AI를 어느 수준의 리스크로 분류할지도 스스로 판단한다.
규제의 실효성을 어떻게 담보할 것인가. 이 문제는 가이드라인 시행 이후 금융위가 설치하는 TF에서 다시 다뤄질 예정이다. AI 감독에 AI를 활용하는 '전용 감독 방안'도 별도로 마련하겠다고 금융위는 밝혔다. 그 구체적인 내용은 아직 나오지 않았다.
