VLM OCR 기반 문서 처리 자동화란? 작동 원리부터 도구 선택 기준까지

구매팀은 오전 업무를 메일함에서 시작합니다. 거래처 열두 곳에서 온 발주 확인서와 거래명세서를 하나씩 열어보고, 품목과 수량과 금액을 ERP에 옮겨 적습니다. 거래처마다 양식이 달라 어디에 무엇이 적혀 있는지 매번 다시 찾아야 하고, 팩스로 온 문서는 글자가 뭉개져 두 번 세 번 확인하게 됩니다.

이런 업무는 대부분의 기업에 있습니다. 무역팀은 선하증권을, 보험사는 진단서를, 병원은 타 병원 진료의뢰서를 같은 방식으로 처리하고 있죠. 문서 처리 자동화는 이 과정을 소프트웨어가 대신하도록 만드는 일입니다.

이 글에서는 문서 처리 자동화가 실제로 어떻게 작동하는지, 도구마다 무엇이 다른지, 그리고 우리 업무에 맞는 도구를 어떤 기준으로 골라야 하는지를 정리했습니다.

문서 처리 자동화란 무엇인가요?

문서 처리 자동화는 사람이 서류를 읽고 시스템에 입력하던 과정 전체를 소프트웨어가 수행하는 것을 말합니다. 문서를 읽어 필요한 항목을 데이터로 뽑아내고, ERP나 EMR 같은 후속 시스템에 넘기는 것까지 하나로 묶습니다.

용어가 여럿 섞여 쓰이는데, 범위가 조금씩 다릅니다.

문서를 읽을 수 있게 만드는 것과, 문서를 업무에 쓸 수 있게 만드는 것은 다른 일입니다.

문서 처리 자동화는 어떻게 작동하나요?

다섯 단계로 나뉩니다. 흔히 네 단계로 소개되지만, 실무에서는 분류를 독립된 단계로 보는 편이 정확합니다.

① 수집 : 문서가 들어온다.

스캐너, 이메일 첨부, 팩스, 모바일 촬영, 공유 폴더, API 업로드. 들어오는 경로는 다양합니다.

여기서 이미 결과가 갈립니다. 300dpi로 스캔한 원본과 여러 번 복사를 거친 팩스본은 뒤에 붙는 어떤 기술로도 같아지지 않습니다. 기울기·구겨짐 보정, 빛 반사 제거, 팩스 명도 보정 같은 전처리가 이 단계에서 얼마나 이루어지느냐가 최종 정확도를 좌우합니다.

② 분류 : 무슨 문서인지 판정하다.

분류 단계에서는 들어온 문서가 상업송장인지 패킹리스트인지, 진단서인지 진료비 세부내역서인지를 가려냅니다.

대량 처리에서 문서는 종류 별로 정리되어 들어오지 않습니다. 스캐너에서 나온 수백 장이 뒤섞여 있으며 분류가 틀리면 그 뒤의 정확도는 의미가 없습니다. 상업송장을 패킹리스트로 오인하면 아무리 추출이 정확해도 결과를 쓸 수 없기 때문입니다.

그래서 실효 정확도는 이렇게 계산해야 합니다. 추출 정확도만 제시된 수치는 앞의 곱셈 인자가 빠진 숫자입니다.

실효 정확도 = 분류 정확도 × 추출 정확도

③ 추출 : 필요한 항목만 뽑는다.

송장번호, 금액, 일자, 거래처명처럼 업무에 필요한 값을 항목 단위로 뽑아냅니다. 이를 키밸류 추출(Key-Value Extraction)이라고 부릅니다.

표가 포함된 문서는 난이도가 한 단계 올라갑니다. 셀이 병합되어 있거나, 표가 여러 페이지에 걸쳐 있거나, 선이 그려지지 않은 표는 구조 자체를 해석해야 하기 때문입니다.

④ 검증 : 뽑은 값을 확인한다.

검증은 세 층위로 나뉩니다.

• 규칙 검증 : 사업자번호 체크섬, 합계와 항목 합의 일치, 날짜 범위

• 대사 검증 : 발주서와 거래명세서 교차 확인, 마스터 데이터 매칭

• 사람 검수 : 시스템이 확신하지 못한 건만 선별해서 확인

이 단계 설계가 자동화 성패를 가릅니다. 자동화의 성패는 얼마나 많이 읽어내느냐가 아니라, 무엇을 사람에게 넘기느냐에서 갈립니다. 넘길 기준을 정하지 못하면 결국 전수 검사를 하게 되고, 그러면 자동화율은 0이 됩니다.

⑤ 연동 : 후속 시스템으로 넘긴다.

확정된 데이터를 ERP, EMR, 관세 시스템, 그룹웨어, 데이터베이스로 전달합니다.

여기서 자주 나오는 문제는 데이터는 잘 뽑혔는데 넣을 곳이 맞지 않는 상황입니다. 후속 시스템의 필드 스펙을 먼저 확인하지 않고 추출 항목을 정하면 마지막 단계에서 막히게 됩니다.

자동화 도구는 왜 저마다 다를까?

같은 문서 자동화라도 접근 방식이 네 가지로 나뉩니다. 이 선택이 도입 성패의 대부분을 결정합니다.

① 고정 템플릿형은 문서의 어느 좌표에서 어떤 값을 읽을지 사람이 지정하는 방식입니다. 양식이 완전히 고정된 문서에서는 정확하고 빠릅니다. 다만 발급처가 50곳이면 템플릿을 50개 만들어야 하고, 양식이 조금만 바뀌어도 다시 만들어야 합니다.

② 학습형은 문서 데이터를 모아 라벨링하고 모델을 학습시키는 방식입니다. 학습이 끝나면 성능은 좋지만, 새 문서 유형이 생길 때마다 수집·라벨링·학습·검증을 반복해야 합니다. 통상 수 주에서 수 개월이 걸립니다.

③ 자동 템플릿형(VLM 기반)은 문서를 이미지와 언어로 동시에 이해하는 모델을 활용합니다. 샘플 문서 몇 장만 올리면 추출 규칙을 시스템이 스스로 만들기 때문에, 좌표를 지정할 필요도 별도 학습을 돌릴 필요도 없습니다.

④ 범용 클라우드 API·RPA 결합은 시작이 빠르지만, 한국어 문서와 국내 서식, 도장 처리에서 한계가 드러나는 경우가 많습니다. RPA는 화면 구성이 바뀌면 동작이 멈춥니다.

선택의 기준이 되는 질문은 하나입니다.

“ 우리에게 새 양식이 얼마나 자주 들어오는가? ”

거래처가 고정된 사내 서식만 다룬다면 고정 템플릿형으로 충분합니다. 반대로 신규 거래처와 신규 서식이 계속 유입되는 조직이라면, 인식률 1~2%p 차이보다 양식 대응에 걸리는 시간이 훨씬 큰 비용입니다. 인식률은 성능의 문제지만, 양식 대응은 구조의 문제이기 때문입니다.

그렇다면 도구를 고를 때 무엇을 확인해야 할까?

① 신규 양식 대응 시간과 비용

"새 거래처 서식이 들어오면 며칠 걸리고 비용은 얼마인가"를 가장 먼저 물어야 합니다.

② 분류 정확도를 따로 제시하는가

추출 정확도만 제시된다면 실효 정확도의 절반만 확인한 것입니다.

③ 정확도의 측정 단위

문자 단위인지 필드 단위인지에 따라 같은 엔진이 99%로도 67%로도 표기됩니다.

④ 검수 화면의 속도

무검수 통과율이 70%여도, 나머지 30%를 검수하는 데 수기 입력만큼 시간이 걸린다면 실질 절감은 없습니다. 값이 원본 어느 위치에서 나왔는지 바로 확인할 수 있는지가 실질적인 차이를 만듭니다.

⑤ 우리 문서로 먼저 테스트할 수 있는가

제안서의 수치보다 우리 문서 300건의 결과가 정확합니다.

⑥ 데이터 처리 방식

온프레미스 가능 여부, 처리위탁 범위, 학습 데이터 사용 여부. 보험·의료·금융이라면 여기서 도입 가부가 갈립니다.

⑦ 후속 시스템 연동 형태

API 스펙, 응답 형식, 실시간 처리 가능 여부를 함께 확인해야 합니다.

페이퍼스고 AI는 어떻게 접근했나요?

앞의 기준들에 대한 답을 정리하면 다음과 같습니다.

① 샘플 문서만 올리면 추출 규칙이 만들어집니다

페이퍼스고 AI 위자드에 샘플 문서를 업로드하면 어떤 항목을 추출할지 AI가 스스로 제안하고 템플릿을 생성하므로 별도의 데이터 좌표를 지정하거나 라벨링 데이터를 준비할 필요가 없어, 신규 거래처 양식이 들어와도 현업 담당자가 직접 추가할 수 있습니다.

② 분류와 추출을 함께 처리합니다

섞여 들어온 문서를 종류별로 미리 정리할 필요가 없습니다. 문서 종류를 판정하는 것과 값을 뽑는 것이 함께 이루어지므로, 전처리 인력이 줄고 오류가 전파될 지점도 줄어듭니다.

③ 검수한 내용이 다음 정확도가 됩니다

검증 화면에서 교정한 값이 다시 반영되는 액티브 러닝 구조입니다. 도입 시점의 정확도가 최종 정확도가 아니라는 뜻입니다. 학습 주기와 데이터 사용 범위는 도입 단계에서 명확히 정하고 시작합니다.

④ 값의 출처를 원본에서 바로 확인합니다

검증 인터페이스에서 추출된 값이 원본 문서의 어느 위치에서 나왔는지 표시되고, 그 자리에서 수정할 수 있습니다. 값만 나열된 화면에서는 검수자가 원본과 눈으로 대조해야 하고, 그 시간이 자동화 효과를 상쇄하게 됩니다.

⑤ 도입 전에 직접 확인할 수 있습니다

API 플레이그라운드에서 실제 문서를 넣고 결과와 응답 형식을 바로 확인할 수 있습니다. 사내 시스템이나 AI 에이전트와의 연동 테스트도 같은 화면에서 진행됩니다.

여전히 사람이 봐야 하는 구간

그러나 어떤 OCR 도구를 선택하더라도 다음 구간은 무검수 자동화가 어렵습니다.

• 도장·서명이 글자를 덮은 영역

  • 아래 글자를 복원하는 것은 원리상 추정에 가깝습니다

• 손으로 그린 표

  • 선이 닫혀 있지 않으면 구조 해석 자체가 흔들립니다

• 여러 세대의 복사를 거친 팩스본

  • 획이 뭉개진 뒤에는 사람도 판독이 어렵습니다

중요한 것은 이 구간을 없애는 것이 아니라, 자동으로 골라내 사람에게 넘기는 설계입니다. 완벽한 인식률을 기다리는 것보다 불완전한 결과를 안전하게 운영하는 구조를 갖추는 편이 훨씬 빠르게 성과로 이어집니다.

자주 묻는 질문

Q. 문서 처리 자동화와 AI OCR은 같은 말인가요?

A. AI OCR은 문서에서 값을 읽어내는 기술이고, 문서 처리 자동화는 수집·분류·추출·검증·연동까지 포함한 업무 전 과정을 말합니다. AI OCR은 그 안의 한 단계입니다.

Q. 데이터 라벨링이나 학습이 꼭 필요한가요?

A. 접근 방식에 따라 다릅니다. 페이퍼스고 AI의 VLM 기반 자동 템플릿형은 고객사가 별도로 학습시킬 필요가 없습니다. 신규 양식이 자주 들어오는 조직이라면 이 차이가 운영 비용을 크게 가릅니다.

Q. 거래처마다 양식이 다른데 자동화가 가능한가요?

A. 가능합니다. 다만 접근 방식 선택이 중요합니다. 고정 템플릿형은 발급처 수만큼 템플릿이 필요하고, 자동 템플릿형은 샘플 업로드로 대응합니다. 검토 전에 실제 발급처 수를 세어보시는 것을 권합니다.

Q. 손글씨도 처리되나요?

A. 인쇄 문서보다 정확도가 낮고 문서 상태에 따라 편차가 큽니다. 손글씨 비중이 높은 업무라면 검수 설계를 함께 계획해야 합니다.

Q. 도입 효과는 어떻게 계산하나요?

A. 월 문서 건수 × 건당 처리시간 × 무검수 통과율로 절감 시간을 산출하고, 검수 1건에 걸리는 시간을 함께 측정해 실질 절감을 확인합니다.

함께 읽으면 좋은 글

• 무역 서류 AI OCR 도입 가이드

• 수천 건의 문서에서 필요한 데이터만 뽑아내려면?

• 손글씨는 왜 OCR의 마지막 벽이었나

• 문서 자동화 PoC는 성공했는데, 전사 확산은 왜 멈출까?