AI 에이전트 도입은 늘었는데 성과는 왜 제자리일까?

올해 들어 AI 에이전트를 검토하거나 이미 도입한 조직이 부쩍 늘었는데, 정작 사내에서는 무엇이 달라졌는지 설명하기 어렵다는 말이 함께 나옵니다.

‘AI 에이전트’란 사람이 한 번 시키면 여러 단계를 스스로 이어서 처리하는 AI를 가리키며, 답변만 돌려주는 챗봇과는 역할이 다릅니다. 최근 공개된 조사들을 나란히 놓고 보면 이 감각이 개별 조직의 문제가 아니라는 점이 드러납니다. 이 글에서는 도입률과 성과 사이에 생긴 간격이 어디에서 비롯되는지를 공개된 수치만 가지고 정리했습니다.

도입이 아니라 ‘실행’에서 갈립니다

먼저 최근 발표된 조사 세 건을 한자리에 모아 보겠습니다. 조사 주체와 표본이 서로 달라 수치를 직접 더하거나 비교할 수는 없지만, 세 조사가 같은 방향을 가리킨다는 점은 눈여겨볼 만합니다.

맥킨지가 2026년 8월 25일 발표한 글로벌 조사에서는 매출 10억 달러 이상 대기업 가운데 40%가 AI 에이전트를 전사 규모로 확산했다고 답했습니다. 이는 전년의 27%에서 크게 오른 수치입니다.

그런데 같은 조사에서 AI가 영업이익에 기여했다고 답한 비율은 37%로 전년과 똑같았고, 영업이익의 5% 이상을 AI 덕분으로 돌린 조직은 6%에 그쳤습니다. 도입 곡선은 가팔라졌는데 성과 곡선은 평평하게 누워 있는 셈입니다.

한국 기업의 수치도 비슷합니다. 서비스나우와 소트랩(ThoughtLab)이 19개국 경영진 4,500명을 조사해 2026년 9월 3일 발표한 자료를 보면, 한국 기업의 에이전틱 AI 도입률은 52%였습니다.

그런데 여러 단계를 스스로 이어서 처리하는 자율 업무 흐름을 구현한 비율은 9%에 그쳤습니다. 같은 조사에서 리더십과 전략 항목은 57점인 반면 AI 기반 업무 흐름 항목은 40점으로, 방향은 정해졌는데 현장 실행이 따라가지 못하는 상태가 점수로 드러났습니다.

가트너는 왜 AI 프로젝트의 40% 이상이
취소된다고 보았을까?

이런 간격이 이어지면 프로젝트 자체가 흔들립니다. 이 절에서는 조사 기관이 제시한 전망과 그 근거를 살펴보겠습니다.

가트너는 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 취소될 것으로 보았고, 이유로 비용 상승과 불분명한 사업 가치, 미흡한 위험 통제 세 가지를 들었습니다.

이 전망에서 가트너는 수천 곳에 이르는 에이전틱 AI 공급사 가운데 실제로 에이전트라 부를 만한 곳은 130곳 정도라고 추정했습니다. 나머지는 기존 제품에 이름만 바꿔 붙이는 이른바 에이전트 워싱에 가깝다는 지적인데, 도입 검토 단계에서 이 차이를 걸러내지 못하면 기대와 결과가 어긋나기 쉽습니다.

같은 자료에서 가트너는 2028년까지 일상 업무 의사결정의 15%가 에이전트를 통해 자율적으로 이뤄질 것으로 내다보았습니다. 기업용 소프트웨어의 33%에 에이전트 기능이 들어갈 것이라는 전망도 함께 내놓았으므로, 방향 자체를 부정한 것은 아닙니다.

성과를 낸 조직은 도구가 아니라
업무 흐름을 바꿨다

그렇다면 성과를 낸 쪽은 무엇을 다르게 했는지가 궁금해집니다. 앞서 인용한 맥킨지 조사에는 이 질문에 대한 힌트가 하나 들어 있습니다.

영업이익의 5% 이상을 AI에 귀속시킨 고성과 조직 가운데 73%가 업무 흐름 자체를 근본적으로 다시 설계했다고 답했으며, 이는 전년의 55%에서 오른 수치입니다. 반면 그 외 조직에서 같은 답을 한 비율은 25%에 머물렀습니다. 기존 순서를 그대로 둔 채 중간에 AI를 한 칸 끼워 넣는 방식으로는 결재선과 확인 절차가 그대로 남기 때문에, 사람이 줄어드는 구간이 생기지 않는다는 해석이 가능합니다.

두 번째 병목은 에이전트가 읽어야 할 ‘자료’이다

업무 흐름을 다시 짜기로 했더라도 한 가지가 더 남습니다. 에이전트가 회사 사정을 모른 채로는 어떤 단계도 대신할 수 없다는 점인데, 최근 조사에서 이 지점이 뚜렷하게 잡혔습니다.

박스(Box)가 2026년에 발표한 기업 AI 현황 보고서를 보면, 응답 조직의 96%가 에이전트에게 자사 자료 접근이 필요하다고 인식했습니다. 그런데 여러 업무에서 실제로 연결에 성공한 곳은 36%에 그쳤습니다. 선도 그룹에서는 이 비율이 42%였고 초기 단계 그룹에서는 17%로 갈렸습니다. 인식과 실행 사이의 이 60%포인트 차이가 앞 절에서 본 도입률과 성과의 간격과 같은 자리를 가리킨다고 보아도 무리가 없습니다.

무엇이 접근을 막는지도 같은 보고서에 정리되어 있습니다. 자료가 여러 시스템에 흩어져 있다는 응답이 25%, 연동이 어렵다는 응답이 24%로 가장 많았습니다.

이어 권한 설정이 없다는 응답이 21%, 자료 정리 상태가 나쁘다는 응답이 18%, 자료 품질이 낮다는 응답이 16%로 뒤를 이었습니다. 한편 선도 그룹의 70%는 양식이 정해져 있지 않은 자료에서 값을 자동으로 뽑아내는 일을 우선순위로 두었는데, 초기 단계 그룹에서는 같은 응답이 36%였습니다. 서비스나우 조사에서 한국 경영진의 70%가 자료 품질과 접근, 관리가 충분하지 않다고 답한 것도 결이 같습니다.

올해 하반기에 점검해 볼 다섯 가지

여기까지가 조사 수치가 보여 주는 그림이고, 남은 것은 우리 조직에 대입하는 일입니다. 아래 항목은 앞에서 인용한 조사들이 공통으로 짚은 지점을 실무 점검용으로 옮긴 것이며, 순서대로 확인하시면 됩니다.

• 도입한 에이전트가 사람 한 명을 돕는 수준인지, 여러 단계를 이어서 처리하는지 구분한다.

• 그 에이전트가 참조해야 하는 사내 자료가 어디에 흩어져 있는지 시스템 단위로 나열한다.

• 그중 검색은 되지만 값을 뽑아 쓸 수는 없는 자료가 무엇인지 표시한다.

• 업무 흐름에서 사람이 다시 확인하는 구간이 몇 군데인지, 그 이유가 무엇인지 파악한다.

• 성과 지표를 도입 건수가 아니라 사람 손을 거치지 않고 끝난 건수로 바꿔둔다.

다섯 항목 가운데 두 번째와 세 번째에서 막히는 조직이 특히 많습니다. 사내 자료의 상당 부분이 계약서와 명세서, 성적서처럼 사람이 읽도록 만들어진 문서 형태로 쌓여 있어서, 검색은 되지만 에이전트가 값을 받아 쓸 수 있는 형태는 아니기 때문입니다.

문서를 읽는 층을 먼저 세우면 무엇이 달라지는가

그래서 에이전트 도입을 검토하실 때 순서를 한 칸 앞당기시길 권합니다. 이 절에서는 그 앞 단계에 해당하는 부분만 짧게 덧붙이겠습니다.

악어디지털의 페이퍼스고 AI는 글자만 훑지 않고 문서를 통째로 보는 VLM(비전 언어 모델)을 기반으로 합니다. 계약서나 거래명세서처럼 양식이 제각각인 문서에서 필요한 항목을 뽑아, 기계가 바로 쓸 수 있는 값으로 돌려주는 역할을 맡습니다.

뽑아낸 값은 시스템끼리 자동으로 주고받는 통로인 API를 거쳐 ERP나 RPA, 그리고 AI 에이전트로 그대로 넘어갑니다. 위 조사들이 가리키는 병목이 자료 접근과 비정형 자료의 값 추출에 몰려 있다는 점을 생각하면, 에이전트를 늘리기 전에 이 층을 먼저 세워 두는 편이 순서상 자연스럽습니다.

이 글에 인용한 수치는 모두 공개된 조사 자료에서 가져왔으며, 조사 주체와 표본, 발표 시점을 함께 적었습니다. 원문에서 조사 방법과 응답자 구성을 직접 확인하실 수 있습니다.

• 맥킨지, The State of AI: Global Survey 2026 (2026년 8월 25일)

• 가트너, Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 (2025년 6월 25일)

• 서비스나우·소트랩(ThoughtLab), Enterprise AI Maturity Index 2026, 19개국 경영진 4,500명 — 보고서 원문 PDF

• 위 보고서의 한국 수치 인용, 헬로티 보도 (2026년 9월 3일)

• 박스(Box), State of AI in the Enterprise 2026