손글씨는 왜 OCR의 마지막 벽이었나｜멀티모달 AI가 여는 전환
인쇄된 서류는 이제 어느 정도 기계가 읽습니다. 그런데 검사원이 볼펜으로 눌러 쓴 수치, 담당자 이름 옆의 붉은 도장, 페이지 하단의 흘려 쓴 서명 앞에서는 자동화가 번번이 멈춰 섰어요.
현장에서 실제로 오가는 문서는 인쇄와 수기가 뒤섞여 있습니다. 계약서 여백의 정정 표시, 명세서의 손 서명, 팩스로 넘어온 흐릿한 필기까지. 문서 업무의 병목은 대부분 이 아날로그 흔적에 몰려 있습니다. 2026년 7월 현재, 바로 이 지점에서 변화가 빠르게 일어나고 있어요.
손글씨는 왜 OCR의 마지막 벽이었을까
기존 광학 문자 인식(OCR)은 글자의 모양을 미리 학습한 패턴과 대조하는 방식으로 작동했습니다. 활자는 형태가 일정해서 잘 맞았지만, 손글씨는 사람마다, 심지어 같은 사람도 매번 다르게 써요. 대조할 정답 패턴 자체가 없는 셈입니다.
구조적인 벽은 네 가지로 정리됩니다.
형태 비표준성: 필체가 무한히 다양해 템플릿으로 고정할 수 없습니다.
문맥 부재: 낱글자만 보면 '1'인지 'ㅣ'인지, 'O'인지 '0'인지 판단하기 어려워요.
비문자 요소: 도장·서명·체크 표시는 글자가 아니라 '의미'로 읽어야 합니다.
품질 편차: 팩스·복사·스캔을 거치며 획이 뭉개지고 배경 잡음이 섞입니다.
결국 사람이 눈으로 확인하고 손으로 옮기는 단계가 남았고, 이것이 문서 자동화의 마지막 구간을 붙잡아 왔습니다.
💡 멀티모달 AI란?
텍스트·이미지·레이아웃 등 여러 형태의 정보를 한 번에 이해하는 AI를 말합니다. 글자를 낱개로 인식하는 대신, 문서 전체의 구조와 문맥 속에서 의미를 파악해요.
멀티모달 AI가 바꾸는 것
비전 언어모델(VLM)로 대표되는 멀티모달 AI는 접근 자체가 다릅니다. 글자 모양을 대조하는 게 아니라, 문서라는 이미지를 사람이 보듯 '이해'해요.
예를 들어 성적서의 흐린 손글씨 숫자를 만나면, 항목 이름과 단위, 주변 값의 범위를 함께 참고해 가장 그럴듯한 값을 추론합니다. 도장이 찍힌 위치를 보고 '승인란'임을 파악하고, 서명 유무를 '결재 완료' 신호로 읽어내요. 낱글자가 아니라 맥락을 읽는 것입니다.
구분 | 룰·템플릿 OCR | 멀티모달 AI(VLM) |
|---|---|---|
인식 단위 | 낱글자·고정 좌표 | 문서 전체 문맥 |
손글씨 | 취약 | 문맥으로 추론 |
도장·서명 | 인식 대상 아님 | 의미로 해석 |
양식 변경 | 재설정 필요 | 유연하게 대응 |
여기에 액티브 러닝이 더해지면, 사람이 교정한 결과가 다시 반영되며 인식 품질이 계속 다듬어집니다. 사전에 방대한 학습을 시키지 않아도, 쓰면서 나아지는 구조예요.
수기 문서가 많은 조직이 준비할 것
기술이 벽을 낮췄다고 해서 준비가 필요 없어지는 건 아닙니다. 오히려 관점을 조정해야 해요.
완벽이 아니라 검증 흐름을 설계: 추론 값에 신뢰도를 함께 받아, 낮은 항목만 사람이 확인하는 흐름을 만듭니다.
원본을 자산으로 남기기: 종이 상태로 흩어진 문서라면 먼저 체계적으로 전자화해 두어야 AI가 다룰 수 있어요. 이 상류 단계는 문서 전자화 BPO(업무 위탁)가 담당하는 영역입니다.
결과의 연결까지 그리기: 뽑아낸 데이터가 ERP·RPA로 이어져야 실제 업무가 줄어듭니다.
이런 흐름을 실제로 구현한 사례가 페이퍼스고 AI입니다. 샘플 문서만 올리면 추출 항목을 AI가 만들고, 손글씨와 도장이 섞인 비정형 문서도 문맥으로 이해해 분류·추출하고, API로 기간계 시스템에 연결해요.
문서 업무의 패러다임은 이미 바뀌고 있어요. 손글씨·도장이 섞인 비정형 문서를 AI가 어떻게 분류하고 추출하는지 확인해 보세요.
자주 묻는 질문
Q. 멀티모달 AI는 손글씨를 완벽하게 읽나요?
필체나 품질에 따라 편차는 남습니다. 다만 문맥으로 추론하고, 신뢰도가 낮은 항목만 사람이 검증하도록 설계하면 실무 적용 수준의 정확도를 확보할 수 있어요.
Q. 도장이나 서명도 데이터로 다룰 수 있나요?
네. 멀티모달 AI는 도장·서명을 위치와 문맥으로 해석해 '승인 여부' 같은 의미 정보로 뽑아낼 수 있습니다. 기존 OCR이 다루지 못하던 영역이에요.
Q. VLM 기반 방식은 사전 학습이 꼭 필요한가요?
대량의 사전 학습 없이도 적용할 수 있는 방향으로 발전하고 있습니다. 샘플 문서를 참고해 추출 기준을 잡고, 사용하면서 액티브 러닝으로 품질을 다듬는 구조가 대표적이에요.
Q. 종이로만 존재하는 수기 문서는 어떻게 시작하나요?
먼저 전자화가 필요합니다. 수거·스캔·검수를 거쳐 디지털 자산으로 만든 뒤 AI 처리 단계로 넘기는 흐름이 안정적이에요. 문서 전자화 BPO가 이 상류 단계를 맡습니다.
Q. 룰 기반 OCR을 이미 쓰고 있는데 바꿔야 하나요?
활자 위주의 정형 문서라면 기존 방식으로 충분할 수 있습니다. 손글씨·도장·양식 변동이 잦은 비정형 문서 비중이 크다면 멀티모달 AI 방식을 검토할 이유가 큽니다.
