왜 정상 이체가 갑자기 막힐까? 은행이 사기 거래를 100% 구분할 수 없는 이유

휴대폰을 바꾼 날, 평소보다 큰돈을 처음 보는 계좌로 이체한다고 생각해 보자.

비밀번호도 맞다. 본인인증도 끝났다. 돈을 보내는 사람도 분명 나다. 그런데 은행 앱이 추가 인증을 요구하거나 이체를 잠시 멈춘다.

고객 입장에서는 답답하다.

“내 돈을 내가 보내는데 왜 은행이 막는 거지?”

반대로 그 이체가 보이스피싱범에게 보내는 돈이었다면 질문은 완전히 달라진다.

“은행은 왜 이상한 거래를 미리 막지 못했을까?”

두 질문은 서로 반대처럼 보이지만, 사실 같은 문제에서 나온다. 은행은 거래가 끝나기 전에 정상 이체와 사기 이체를 구분해야 한다. 문제는 은행이 고객의 마음을 직접 볼 수 없다는 데 있다.

이 글은 실제 고객 사건을 재현한 것이 아니라 원리를 설명하기 위한 가상 상황을 사용한다. 회사명, 고객정보, 실제 탐지 규칙, 임계값과 내부 구조는 다루지 않는다.

은행이 볼 수 있는 것은 ‘의도’가 아니라 ‘흔적’이다

사람은 자신이 왜 돈을 보내는지 안다. 하지만 시스템이 볼 수 있는 것은 거래 과정에서 남은 정보뿐이다.

예를 들면 다음과 같은 신호다.

시스템이 볼 수 있는 신호	정상적인 이유	위험할 수 있는 이유
처음 사용하는 기기	새 휴대폰으로 교체	계정 탈취 후 다른 기기에서 접속
평소보다 큰 이체	전세금·자동차 대금·가족 송금	보이스피싱 또는 투자사기
처음 보내는 계좌	새 거래처나 지인	사기범이 지정한 계좌
평소와 다른 시간·장소	여행·야근·긴급한 사정	탈취된 인증정보의 사용

핵심은 하나다.

같은 흔적이 정상 거래에서도, 사기 거래에서도 나타날 수 있다.

새 휴대폰으로 큰돈을 보내는 행동만으로는 사기라고 단정할 수 없다. 반대로 비밀번호와 인증이 모두 맞았다는 이유만으로 안전하다고 단정할 수도 없다. 피해자가 사기범에게 속아 직접 인증하고 송금하는 경우에는 거래 절차만 보면 ‘정상적인 본인 거래’처럼 보일 수 있기 때문이다.

이것이 이상거래 탐지가 어려운 가장 근본적인 이유다. 시스템은 확실한 정답을 보는 것이 아니라, 제한된 신호를 바탕으로 위험 가능성을 추정한다.

FDS는 판사가 아니라 화재경보기와 가깝다

FDS는 Fraud Detection System(이상금융거래탐지시스템)의 약자다. 금융위원회는 FDS를 접속정보와 거래내역 등을 실시간으로 분석해 비정상·의심거래를 탐지하고 차단하는 시스템으로 설명한다.

작동 원리를 단순화하면 다음과 같다.

로그인·이체·결제 과정에서 신호를 수집한다.
현재 행동이 평소 패턴이나 알려진 위험 패턴과 얼마나 다른지 계산한다.
여러 신호를 종합해 위험 수준을 판단한다.
위험 수준에 따라 허용, 추가 인증, 확인, 일시 보류 같은 조치를 선택한다.

여기서 FDS는 범죄 여부를 완벽하게 판결하는 장치가 아니다. 연기가 감지됐을 때 경보를 울리는 화재경보기와 더 비슷하다.

화재경보기를 매우 민감하게 만들면 작은 연기에도 빨리 반응한다. 큰불을 일찍 발견할 가능성은 높아지지만, 요리 연기에도 경보가 울릴 수 있다. 반대로 둔감하게 만들면 불필요한 경보는 줄지만 실제 화재를 늦게 발견할 위험이 커진다.

FDS도 같다. 위험 기준을 민감하게 설정하면 더 많은 사기 의심 거래를 발견할 수 있지만 정상 거래까지 멈출 가능성이 커진다. 기준을 느슨하게 설정하면 고객 불편은 줄지만 사기 거래를 놓칠 가능성이 커진다.

은행이 피할 수 없는 두 가지 실수

불완전한 정보로 판단하는 한, 두 종류의 실수를 완전히 없앨 수는 없다.

False Positive(거짓 양성·오탐): 정상 거래를 위험하다고 잘못 판단하는 것
False Negative(거짓 음성·미탐): 위험 거래를 정상이라고 잘못 허용하는 것

오탐은 단순한 기술 지표가 아니다. 정상 고객의 이체가 늦어지고, 추가 인증이 필요해지며, 긴급한 거래가 실패할 수도 있다. 고객센터와 조사 인력의 업무도 늘어난다.

미탐의 비용은 더 직접적이다. 고객의 돈이 빠져나가고, 범죄자금이 여러 계좌로 이동하며, 시간이 지나면 회수가 어려워질 수 있다.

그래서 좋은 FDS의 목표는 ‘모든 거래를 막는 것’도, ‘고객을 한 번도 불편하게 하지 않는 것’도 아니다.

사기 피해와 정상 고객의 불편을 함께 줄일 수 있는 균형점을 찾는 것이다.

이 문제는 국내 금융회사만의 고민도 아니다. 영국의 디지털 은행 Monzo도 정상 고객을 잘못 제한하는 오탐을 별도의 핵심 지표로 추적한다고 공개한 바 있다. 사기를 많이 잡았다는 숫자만으로는 탐지 시스템의 품질을 설명할 수 없다는 뜻이다.

그래서 ‘허용 또는 차단’만으로 판단하면 안 된다

거래를 무조건 통과시키거나 완전히 차단하는 두 가지 선택만 있다면, 오탐과 미탐의 충돌은 더 커진다.

실제 의사결정은 여러 단계로 나눌 수 있다.

위험이 낮으면 그대로 허용한다.
정보가 부족하면 추가 인증으로 본인 여부를 다시 확인한다.
즉시 판단하기 어려우면 잠시 보류하고 확인 절차를 거친다.
위험 근거가 충분하면 거래를 제한한다.

금융보안원이 공개한 FDS 운영 가이드라인도 의심거래에 강화된 본인확인을 적용할 수 있고, 강화된 탐지 과정에서 일부 정상 거래가 일시적으로 정지될 수 있다고 설명한다.

즉, 정상 거래가 잠시 멈췄다는 사실만으로 시스템이 실패했다고 단정할 수는 없다. 더 큰 피해를 막기 위해 추가 정보를 얻는 과정일 수 있다.

하지만 반대도 중요하다. 정상 고객을 지나치게 자주 멈추게 한다면 그것 역시 좋은 시스템이 아니다. 안전을 이유로 모든 불편을 정당화할 수는 없다. 어떤 신호 때문에 조치했는지, 확인 후 얼마나 빨리 풀어주는지, 같은 문제가 반복되는지를 함께 측정해야 한다.

좋은 FDS는 ‘얼마나 잡았는가’만 보지 않는다

사기 적발 건수만 높이면 좋은 FDS일까?

극단적으로 모든 이체를 막으면 사기 이체도 막을 수 있다. 그러나 은행 서비스 자체가 작동하지 않는다. 따라서 적발 건수 하나만 최대화하는 방식으로는 문제를 풀 수 없다.

최소한 다음 질문을 함께 봐야 한다.

실제 위험 거래를 얼마나 놓쳤는가?
정상 거래를 얼마나 잘못 멈췄는가?
추가 인증과 확인에 고객이 얼마나 기다렸는가?
판단이 늦거나 시스템 일부가 고장 났을 때 어떤 일이 생겼는가?
잘못된 탐지 규칙을 얼마나 빨리 발견하고 되돌릴 수 있는가?

이 지표들은 서로 연결돼 있다. 더 많은 정보를 확인하면 판단은 정교해질 수 있지만 응답은 느려진다. 더 빠르게 판단하려고 확인 절차를 줄이면 중요한 위험 신호를 놓칠 수 있다. 새로운 규칙을 강하게 적용하면 사기를 더 잡을 수 있지만 오탐이 급증할 수도 있다.

결국 FDS는 단순한 탐지 프로그램이 아니다. 불확실한 상황에서 제한된 시간 안에 손실과 고객 불편을 함께 관리하는 의사결정 시스템이다.

FDS 고도화를 맡으며 세운 출발점

저는 은행 채널계와 FDS 연계 업무를 경험하고 FDS 고도화 프로젝트를 맡으면서, 이 문제를 단순히 “탐지 규칙을 더 추가하는 일”로만 볼 수 없었다.

고객 요청이 어디서 들어오고, 어떤 정보가 판단에 필요하며, 판단이 늦어지면 어느 구간에서 거래가 멈추는지까지 함께 봐야 했다. 탐지 결과가 맞더라도 제시간에 응답하지 못하거나 장애가 다른 거래로 번지면 실제 서비스에서는 좋은 결과라고 할 수 없다.

그래서 이 시리즈는 특정 회사의 내부 규칙을 공개하거나 제가 수행하지 않은 머신러닝 모델 개발을 경력처럼 포장하지 않는다. 대신 공개 가능한 원리, 금융 백엔드에서 실제로 마주치는 제약, 그리고 개인 프로젝트 SafeFDS에서 재현한 실험을 분리해 설명할 예정이다.

첫 번째 출발점은 이것이다.

은행은 고객의 의도를 알 수 없다. 따라서 완벽한 판별기가 아니라, 틀릴 수 있다는 전제에서 피해를 통제하는 시스템을 만들어야 한다.

다음 글에서는 기준을 낮추면 왜 사기를 더 많이 잡으면서도 정상 고객을 더 많이 막게 되는지, 그리고 오탐과 탐지 성능을 어떤 숫자로 비교해야 하는지 살펴본다.

이 시리즈의 다음 글

2편 — 사기를 더 많이 잡으면 왜 정상 고객도 더 많이 막힐까?
오탐, 미탐, 탐지율과 임계값의 관계를 일상적인 예와 함께 설명한다.