AI가 사기 거래를 판단하게 해도 될까?
규칙, ML, LLM 그리고 SafeFDS 실험을 통한 비교. AI가 모든 거래를 혼자 판단해서는 안 되는 이유와 안전한 자동화의 경계를 설명합니다.
1편에서는 정상 거래도 사기처럼 보일 수 있다는 사실을 살펴봤습니다. 2편에서는 사기를 더 잡으려 할수록 정상 고객도 더 많이 막힐 수 있다는 어려움을 확인했습니다. 3편에서는 판단이 정확해도 결제와 이체에 필요한 시간보다 늦으면 실패라는 점을 다뤘습니다. 그렇다면 빠르지만 완벽하지 않은 이 판단은 누구에게 맡겨야 할까요?
평소와 다른 새 휴대전화에서 밤늦게 큰돈을 이체하려는 고객이 있다고 해보겠습니다. 정상 고객일 수도 있고, 계정을 빼앗은 사기범일 수도 있습니다.
규칙, 일반적인 ML 모델, LLM은 이 거래를 각각 어떻게 판단할까요? 답부터 말하면 세 도구에 같은 권한을 주어서는 안 됩니다.
이 글의 거래 상황과 SafeFDS 실험은 실제 은행의 고객 정보나 내부 기준이 아닙니다. SafeFDS는 금융 운영 경험을 바탕으로 합성 데이터로 만든 개인 포트폴리오 실험이며, 실제 은행에서 운영한 시스템이 아닙니다.
거래를 한 모델이 독점해서 판정하는 대신 자동 처리, 사람의 검토, 차단 가능한 경계를 나누는 개념도입니다. SafeFDS의 실제 화면이나 측정 결과를 그린 이미지는 아닙니다.
“AI”라는 한 단어 안에는 서로 다른 도구가 있다
AI라고 하면 모든 상황을 이해하고 답을 내리는 하나의 두뇌를 떠올리기 쉽습니다. 실제 시스템에서는 성격이 다른 도구가 각자 맡은 일을 하고, 정책이 그 결과를 행동으로 바꿉니다.
| 역할 | 쉽게 말하면 | 맡기기 좋은 일 | 혼자 맡기기 어려운 일 |
|---|---|---|---|
| 규칙 | 정해진 항목을 확인하는 출입문 경비원 | 반드시 지켜야 하는 조건을 빠르게 확인 | 처음 보는 사기 조합을 스스로 발견 |
| ML 모델 | 여러 신호를 함께 보는 탐지 레이더 | 거래의 위험 신호를 점수로 정리 | 점수만으로 고객에게 할 조치를 최종 결정 |
| LLM | 자료를 읽고 정리하는 설명 전문가 | 상담 기록과 조사 메모를 요약하고 쉬운 설명 작성 | 실시간 이체를 혼자 승인하거나 차단 |
| 사람과 정책 | 위험에 따라 길을 나누는 관제자 | 자동화 범위와 예외 처리 방법을 결정 | 모든 거래를 같은 방식으로 처리 |
중요한 질문은 “어떤 AI가 가장 똑똑한가?”가 아닙니다. “이 도구가 틀렸을 때 생길 피해를 감당할 수 있는 범위까지만 맡겼는가?”가 더 중요합니다.
규칙은 빠르고 분명하지만 처음 보는 수법에 약하다
규칙 기반 시스템은 사람이 미리 적어 둔 만약 A이면 B 형태의 조건입니다. 예를 들어 “새 기기에서 큰 금액을 보내려 하면 추가 인증을 요청한다”처럼 만들 수 있습니다. 이 문장은 설명을 위한 예일 뿐 실제 은행 규칙이 아닙니다.
규칙은 빠르고 결과를 설명하기 쉽습니다. 법이나 운영 정책상 반드시 지켜야 하는 금지 조건처럼 예외 없이 확인해야 하는 일에도 잘 맞습니다.
하지만 사기범이 규칙에 적힌 경계를 피하거나 여러 약한 신호를 새롭게 조합하면 놓칠 수 있습니다. 정해진 목록만 확인하는 경비원은 목록에 없는 수법을 알아보기 어렵기 때문입니다.
새 휴대전화, 늦은 시간, 큰 금액이라는 조건을 각각 규칙으로 만들 수는 있습니다. 그러나 정상 고객도 같은 모습을 보일 수 있으므로 조건 하나만으로 바로 차단하면 고객 피해가 커집니다.
ML은 판결 대신 위험 점수를 만든다
ML(Machine Learning, 기계학습)은 과거 데이터에서 위험한 거래에 자주 나타난 패턴을 배웁니다. 하나의 조건만 보는 대신 기기, 시간, 금액, 받는 계좌 같은 여러 신호의 조합을 함께 살필 수 있습니다.
이 모델의 역할은 “사기다”라고 판결하는 것이 아니라 위험 점수를 만드는 것입니다. 새 휴대전화에서 밤늦게 큰돈을 보내는 거래가 87점을 받았다면, 위험 신호가 많이 겹쳤다는 뜻입니다.
87점을 곧바로 “사기일 확률이 정확히 87%”라고 읽어서는 안 됩니다. 점수를 실제 확률처럼 쓰려면 별도의 검증이 필요하며, SafeFDS의 현재 비교 실험도 그런 확률 보정을 하지 않았습니다.
ML은 기존 규칙이 놓치던 조합을 찾을 수 있지만 언제나 맞지는 않습니다. 학습 데이터에 한쪽 거래만 많이 담겼거나 고객 행동과 사기 수법이 바뀌면 탐지 레이더도 엉뚱한 곳을 가리킬 수 있습니다.
따라서 87점은 행동 명령이 아니라 정책이 참고할 신호입니다. 같은 점수라도 피해 규모와 확인 가능한 정보에 따라 자동 승인, 추가 인증, 사람의 검토가 달라질 수 있습니다.
LLM은 심판보다 설명자에 가깝다
LLM(Large Language Model, 대규모 언어 모델)도 넓게 보면 ML의 한 종류입니다. 다만 여기서는 거래를 분류해 위험 점수를 내는 모델과, 문장을 읽고 생성하는 LLM의 역할을 나누어 비교합니다.
LLM은 상담 기록, 거래 맥락, 조사 메모처럼 글로 된 자료를 읽고 핵심을 요약할 때 유용합니다. 검토자에게 “새 기기, 평소와 다른 시간, 큰 금액이 함께 나타났습니다”처럼 판단 근거를 쉬운 말로 정리해 줄 수도 있습니다.
하지만 같은 질문에도 표현이 달라질 수 있고, 사실이 아닌 내용을 그럴듯하게 만들 수 있습니다. 일반적인 거래 판정 모델보다 느리고 비용이 더 들 수도 있으므로, 한 문장으로 실시간 이체를 최종 승인하거나 차단하게 해서는 안 됩니다.
SafeFDS에는 LLM이 구현되어 있지 않습니다. 이 글에서도 LLM을 실제 판정 흐름에 넣었다고 주장하지 않고, 앞으로 설명과 조사 보조에 사용할 수 있는 역할만 비교합니다.
같은 거래를 SafeFDS에 넣으면 어떻게 흐르는가
독자가 이해하기 쉽게 결과를 세 구간으로 나누면 ALLOW(자동 승인), REVIEW(사람의 추가 검토), BLOCK(차단)입니다. 낮은 위험은 자동으로 보내고, 애매한 거래는 사람이 확인하며, 명백하게 위험한 거래만 검증된 정책에 따라 막는 구조입니다.
이를 단순화하면 다음과 같습니다.
거래 입력
→ 선택된 규칙 점수기 또는 ML 모델이 위험 신호 계산
→ 정책이 허용된 자동 승인·추가 검토·차단 행동 중 하나를 선택
→ 판단 근거와 모델·특징·정책 버전을 함께 기록현재 SafeFDS 코드에서는 자동 승인을 ALLOW가 아니라 APPROVE라고 부릅니다. 실제 정책 엔진이 최종으로 만드는 결과는 APPROVE와 REVIEW이며, BLOCK은 자료 구조에는 있지만 ML 점수만으로 자동 차단하지 않도록 비활성화되어 있습니다.
앞의 거래가 낮은 점수를 받으면 정책은 자동 승인을 선택할 수 있습니다. 점수가 높거나 필요한 정보가 부족하면 검토 건을 만들고 사람에게 보냅니다. 선택 설정에서는 두 구간 사이에 추가 인증을 요청한 뒤 성공하면 승인하고, 확인하지 못하면 검토로 보내는 단계도 있습니다.
SafeFDS의 기본 점수기는 사람이 만든 규칙을 사용합니다. ML 후보는 같은 거래를 별도로 관찰할 수 있지만, 저장소의 평가에서 적용 기준을 모두 통과하지 못해 기본 판정기로 교체되지 않았습니다. 더 복잡한 모델이라는 이유만으로 운영 권한을 주지 않은 것입니다.
AI가 틀리거나 멈췄을 때 필요한 안전장치
좋은 자동화는 정상일 때만 빠른 시스템이 아닙니다. 일부 기능이 실패했을 때 어떤 결과로 끝나는지가 더 중요합니다.
SafeFDS에서는 특징 계산, 모델 실행, 정책 판단이 실패하면 거래를 조용히 자동 승인하지 않습니다. 설계상 모델 응답이 제한 시간을 넘는 경우도 포함해 안전하게 판단할 근거가 부족하면 REVIEW로 전환합니다.
같은 거래 요청이 다시 들어왔을 때도 새 거래처럼 두 번 처리하지 않습니다. 같은 요청임을 확인하는 키와 본문을 비교하고, 먼저 확정된 결과를 다시 돌려주는 멱등성을 구현했습니다.
판단 결과만 남기지도 않습니다. 어떤 근거가 사용됐는지, 실패로 우회했는지, 어떤 모델·특징·정책 버전이 판단했는지를 감사 기록에 함께 저장합니다. 새 모델 파일이 잘못되면 새 버전을 준비 완료로 보지 않고 이전 버전을 유지하도록 설계되어 있습니다.
이 기록은 “AI가 그랬다”라는 말 대신 원인을 찾고 이전 상태로 되돌릴 근거가 됩니다. 다만 SafeFDS의 사람용 검토 업무 시스템은 아직 구현 범위 밖이므로, REVIEW 이후의 실제 은행 업무까지 완성했다고 말할 수는 없습니다.
그래서 AI에게 판단을 맡겨도 될까?
맡겨도 됩니다. 그러나 모든 거래와 모든 권한을 하나의 모델에 맡겨서는 안 됩니다.
규칙은 반드시 지켜야 하는 조건을 빠르게 확인하고, ML은 여러 신호를 위험 점수로 정리할 수 있습니다. LLM은 사람이 읽어야 할 자료와 판단 근거를 이해하기 쉽게 정리하는 역할이 어울립니다.
정책은 낮은 위험만 자동 승인하고, 애매하거나 피해가 큰 거래는 사람의 검토로 보내야 합니다. 충분한 검증과 이의 처리 방법을 갖춘 경우에만 제한된 차단 권한을 열어야 합니다.
자동화의 목적은 사람을 무조건 없애는 것이 아닙니다. 같은 안전 수준에서 사람이 꼭 봐야 하는 거래를 정확하게 줄이고, 남은 예외에 더 집중하게 만드는 것입니다.
그러려면 자동화해도 안전한 구간을 실제 데이터로 측정해야 합니다. 모든 판단은 설명할 수 있어야 하고, 문제가 생기면 어떤 버전이 원인이었는지 찾아 되돌릴 수 있어야 합니다.
네 편을 마치며
이 시리즈는 정상 거래도 사기처럼 보일 수 있다는 질문에서 시작했습니다. 더 많이 잡으려 할수록 정상 고객의 불편이 늘 수 있고, 정확한 판단도 늦으면 실패하며, 마지막에는 그 불완전한 판단을 한 모델이 아닌 규칙·ML·정책·사람에게 나누어 맡겨야 한다는 결론에 도착했습니다. 좋은 FDS는 모든 거래를 자신 있게 막는 시스템이 아니라, 불완전한 신호 속에서 고객 불편과 사기 피해의 경계를 측정하고 제한 시간 안에 설명 가능하며 되돌릴 수 있는 결정을 만드는 시스템입니다.
이 시리즈의 이전 글
- 왜 정상 이체가 갑자기 막힐까?
FDS가 고객의 의도가 아닌 거래의 흔적으로 위험을 판단하는 이유 - 사기를 더 많이 잡으면 왜 정상 고객도 더 많이 막힐까?
오탐과 미탐, 탐지율과 의심 기준선 사이의 피할 수 없는 선택 - 정확해도 늦으면 실패다
응답시간, 장애 격리, timeout과 fallback이 필요한 이유