[2026-05-15 | D-log] 라벨링 없이 100% 정확도 달성: AI 기반 비정형 문서 자동 분류

수천 장의 서류를 일일이 분류하는 작업은 기업의 오랜 숙제였다. AWS의 한 프로젝트팀은 293개의 비정형 문서를 단 한 번의 분류 작업으로 9개 유형으로 나누고, 각 문서에 필요한 정보 항목(스키마)까지 자동으로 추출하는 성과를 거두었다. 이는 사람이 수동으로 분류할 때 발생하는 시간과 비용의 한계를 기술로 극복한 사례다.

기업 현장에서는 매일 수만 장의 문서가 쏟아지지만, 이 문서를 처리할 시스템을 구축하려면 각 문서의 종류와 추출해야 할 정보(스키마)를 미리 정의하는 작업이 필수적이다. 문서 종류가 수십 가지에 달할 경우, 이 스키마 작업에만 막대한 시간이 소요된다. 분류 체계를 알지 못하는 상태에서 자동화 시스템 도입을 시도해도, 시스템이 읽어들일 기준이 없어 시작조차 어려운 것이 현실이다.

이 문제를 해결하기 위해 기술팀은 사람이 문서를 직접 눈으로 보고 분류하는 방식을 디지털 환경에서 구현했다. 우선 문서의 텍스트 내용보다는 시각적 정보에 집중했다. 문서의 글자 내용은 다르더라도 양식이나 구조가 비슷하면 같은 종류로 인식하는 원리를 활용한 것이다. 시스템은 문서의 첫 페이지를 이미지 데이터로 변환한 뒤, 이를 수치화된 벡터(vector)로 변환한다. 이 과정을 통해 문서의 레이아웃과 구조적 특징을 담은 고유한 좌표값이 생성된다.

다음 단계는 비슷한 문서끼리 묶는 작업이다. 시스템은 수치화된 문서들을 공간상에 배치하고, 서로 거리가 가까운 문서들을 그룹(클러스터)으로 묶는다. 이때 시스템은 단순히 묶는 것에 그치지 않고, 그룹이 얼마나 잘 나뉘었는지 측정하는 실루엣 점수(silhouette score)를 활용한다. 그룹 내 문서들은 최대한 빽빽하게 모으고, 그룹 간 거리는 최대한 멀어지도록 하여 최적의 그룹 개수를 스스로 찾아낸다.

그룹이 정해지면 인공지능 에이전트가 투입된다. 에이전트는 각 그룹의 중심부와 외곽 등 다양한 위치에서 문서를 골고루 검토한다. 문서의 특징을 다각도로 파악한 에이전트는 해당 문서가 무엇인지 정의하고, 어떤 정보를 추출해야 할지 결정하는 스키마를 스스로 작성한다. 마지막으로 전체 스키마를 다시 한번 검토하여 중복되거나 모순되는 부분을 걸러낸다.

이 과정에서 사용된 시각적 임베딩(visual embedding) 기법은 문서의 구조적 특징을 보존하면서 고차원 데이터를 2차원 평면으로 옮겨 시각화하는 t-SNE(t-distributed Stochastic Neighbor Embedding) 기술과 결합하여 분석의 정확도를 높였다. 데이터 간의 관계를 유지하며 복잡한 정보를 직관적으로 파악할 수 있게 된 것이다. 기술 도입 초기에는 문서 유형을 미리 알지 못한다는 점이 가장 큰 걸림돌이었다. 이를 극복하기 위해 에이전트가 그룹 내 문서들을 전략적으로 샘플링하는 도구를 추가했다. 중심에서 가까운 문서부터 먼 문서까지 골고루 확인하게 함으로써, 데이터의 다양성을 놓치지 않고 스키마를 생성하도록 설계했다.

실제 성능 검증 결과는 고무적이었다. 293개의 문서를 대상으로 한 실험에서 시스템은 9개의 문서 유형을 정확히 찾아냈다. 분류 정확도를 나타내는 지표인 조정 랜드 지수(Adjusted Rand Index)와 정규화 상호 정보량(Normalized Mutual Information) 모두 1.0을 기록했다. 이는 모든 문서가 100%의 순도로 실제 유형과 일치하게 분류되었음을 의미한다. 라벨링 데이터가 전혀 없는 상태에서 인공지능이 스스로 문서의 성격을 파악하고 처리 기준까지 마련했다는 점에서 큰 의미를 가진다.

참고 출처

• 참고자료 바로가기

Automate schema generation for intelligent document processing | Amazon Web Services