AI OCR 비교, 정확도만 보면 실패하는 이유

AI-OCR을 도입하고 석 달쯤 지나면 대개 첫 운영 점검 회의가 열립니다. 이 자리에서 가장 자주 올라오는 안건은 글자를 잘못 읽었다는 이야기가 아니라, 지난주에 처음 들어온 양식을 아직 처리하지 못하고 있다는 보고입니다. 여기서 말하는 ‘양식’이란 거래처가 보내오는 발주서나 거래명세서처럼, 담고 있는 항목은 비슷해도 회사마다 배치가 제각각인 서류를 뜻합니다.

한편 AI OCR 플랫폼 도입 검토 시 여전히 인식 정확도 수치를 나란히 놓고 비교하는 일부터 시작하는 경우가 많습니다. 이것에 나름의 배경이 있다면, 엔진 성능이 벤더마다 크게 벌어지던 시기에는 손글씨가 섞인 문서에서 글자를 읽어내는 일 자체가 변수였기 때문입니다. 그때는 정확도 한두 포인트 차이가 도입의 성패를 실제로 갈랐고, 자연스럽게 비교표의 맨 앞자리를 정확도가 차지하게 되었습니다.

다만 현재 도입이 멈추는 지점을 하나씩 따라가 보면 사정이 달라졌다는 사실이 드러납니다. 정확도표가 설명해 주는 구간보다, 그 표에는 아예 칸조차 없는 구간이 훨씬 크게 남아 있기 때문입니다.

정확도 1%포인트는
왜 도입 성과로 이어지지 않을까?

정확도는 문서가 들어온 뒤의 지표인 반면, 실무의 병목은 문서가 들어오기 전 양식을 등록하는 구간에 있기 때문입니다.

차이는 기존 방식이 필드를 잡는 절차를 따라가 보면 분명해집니다. 좌표를 지정하는 존 OCR 방식에서는 거래처마다 발주서 양식을 등록하면서, 발주번호와 공급가액의 위치를 앵커 텍스트와 함께 지정해 두어야 합니다. 그런데 거래처가 ERP를 교체하면서 품목 코드와 단가 열의 순서만 바뀌어도 그 좌표는 대부분 무효가 됩니다.

등록이 한 번으로 끝나지 않는다는 점이 더 큰 문제입니다. 정산팀이 받는 거래명세서가 같은 거래처라도 지점마다 서식이 다르다면, 등록할 양식은 거래처 수가 아니라 지점 수를 따라 늘어납니다. 서식이 제도로 고정된 세금계산서 정도를 빼면 대부분의 문서군에서 되풀이됩니다.

정확도표가 담지 못하는 세 가지

앞에서 본 병목을 도입 검토서로 옮겨 놓으면, 정확도 비교표에는 자리가 없는 질문이 세 가지 남습니다. 셋 다 엔진 성능이 아니라 그 엔진을 운영하는 방식에 관한 질문입니다.

첫째는 새 양식이 들어왔을 때 현업 부서에서 스스로 처리할 수 있는지 여부입니다.

도입한 플랫폼이 솔루션 엔지니어가 템플릿을 직접 구축하는 구조라면, 예를 들어 수입신고필증의 HS코드 위치가 옮겨진 개정 서식 하나에 통관 담당자가 몇 주를 기다리게 되고, 그동안 해당 문서는 수기 입력으로 되돌아갑니다.

둘째는 분류와 추출이 한 흐름에서 처리되는지입니다.

진단서와 손해사정서, 진료비 세부산정내역서가 한 봉투에 섞여 들어오는 보험심사팀이라면 문서를 종류별로 나누는 일부터 사람 몫으로 남습니다. 추출 정확도가 높아도 전체 소요 시간이 기대만큼 줄지 않는 이유입니다.

셋째는 검수에서 고친 값이 다음 문서에 반영되는지입니다.

이 고리가 없으면 같은 오류를 매달 다시 고치게 됩니다.

이 고리가 없으면 구매담당자가 같은 반려 사유를 매달 다시 처리하게 되고, 검수 인력도 도입 전과 비슷하게 남습니다.

판단 기준은 왜 플랫폼 쪽으로 옮겨가고 있을까

문서를 좌표의 모음이 아니라 한 장의 이미지로 놓고 배치와 문맥을 함께 읽는 것이 비전 언어 모델(VLM)의 접근 방식입니다. 이 방식이 퍼지면서 양식을 미리 등록해 둔다는 전제가 흔들렸고, 무게 중심도 인식률에서 문서 분류 자동화와 재학습 고리 쪽으로 옮겨갔습니다.

다만 이 흐름이 모든 구간에서 유리하다고 말하기는 어렵습니다. 양식이 고정되어 있고 물량도 일정한 문서군이라면 좌표를 한 번 잡아 두는 방식이 속도와 비용에서 앞서므로, 판단은 문서군 단위로 나누는 편이 현실적입니다.

그래서 검토 단계에 필요한 것은 새 점수표가 아니라, 정확도 옆에 놓을 항목 몇 개입니다. 아래 다섯 가지를 함께 올려 두면 비교 대상이 엔진이 아니라 플랫폼으로 정리됩니다.

1. 새 양식 한 건을 현업이 직접 적용하기까지 걸리는 시간?

2. 분류와 추출이 한 흐름에서 끝나는지 여부?

3. 검수에서 수정한 값이 다음 배치에 반영되는 구조인지?

4. 필드 정확도와 문서 정확도를 나누어 제시하는지?

5. 추출 결과를 ERP·RPA로 넘기는 연결 수단이 있는지?

다섯 항목은 모두 PoC에서 확인할 수 있으며, 서식이 자주 바뀌는 문서군을 넣어 보면 짧은 기간에도 차이가 드러납니다.

페이퍼스고 AI는 이 기준을 겨냥해 만든 플랫폼으로 AI 위자드가 샘플 문서만 보고 추출 항목과 분류 기준을 만들기 때문에, 새 양식이 들어와도 등록 작업이 따로 필요하지 않습니다. 검수에서 수정한 값은 액티브 러닝으로 이어져 같은 양식의 다음 문서에 반영됩니다.