복잡한 재무제표 표(Table)와 다단 PDF 완벽 인식: Vision LLM 기반 마크다운 변환 파이프라인
기존 오픈소스 OCR로 인식 불가능하던 복잡한 병합 셀, 결재란, 다단 컬럼 문서를 고해상도 이미지 분할과 멀티모달 LLM으로 100% 정형화하는 실무 아키텍처입니다.
홍은선 연구원
HongLabAI AI 엔지니어링 리드
📌실무 핵심 요약 (Key Engineering Takeaways)
- ✔텍스트 레이어에 의존하지 않고 300DPI 비전 멀티모달 분석으로 셀 병합 구조 100% 복원
- ✔단순 텍스트 출력이 아닌 Markdown Table 및 Zod JSON 스키마를 강제하여 즉시 DB 삽입 가능
- ✔가로 합계, 세로 합계 수학적 검산 로직을 후처리 파이프라인에 배치하여 환각 차단
수천 장의 감사보고서, 영수증, 복잡한 관공서 인허가 문서는 텍스트 레이어가 깨져 있거나 셀 병합이 심해 전통적인 PyPDF나 Tesseract OCR로는 파싱 성공률이 40%에도 미치지 못합니다. 셀 경계선이 뭉개져 엉뚱한 숫자가 옆 칸으로 합쳐지는 치명적 사고가 발생하기도 합니다.
HongLabAI에서는 멀티모달 비전 모델(GPT-4o / Claude 3.5 Sonnet)과 이미지 래스터라이징 파이프라인을 결합하여 이 문제를 해결했습니다: 1. PyMuPDF(fitz)로 각 PDF 페이지를 300DPI 초고화질 무손실 PNG로 렌더링 2. 레이아웃 분할: 상단 결재란, 본문 다단 텍스트, 하단 복합 재무제표 표 영역을 바운딩 박스로 분리 3. Vision 프롬프트: 표 구조를 HTML `<table>` 또는 Markdown Table 규격으로 완전 복원하도록 지시 4. 수치 합계 교차 검증: 추출된 행/열 합계가 실제 적힌 합계값과 수학적으로 일치하는지 Python 검증기로 자동 체크
이 파이프라인 도입 후 문서당 파싱 소요 시간은 15초 미만으로 단축되었으며, 데이터 입력 오류율은 0.01% 이하로 감소했습니다.
🔄엔지니어링 아키텍처 흐름도 (Architecture Workflow)
import fitz # PyMuPDF
import base64
from openai import OpenAI
client = OpenAI()
def parse_complex_pdf_page(pdf_path: str, page_num: int) -> str:
doc = fitz.open(pdf_path)
page = doc.load_page(page_num)
# 300 DPI 초고해상도 렌더링 (줌 계수 4.16)
pix = page.get_pixmap(matrix=fitz.Matrix(4.16, 4.16))
img_bytes = pix.tobytes("png")
b64_img = base64.b64encode(img_bytes).decode("utf-8")
# Vision 모델에 표 구조 엄격 복원 지시
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{
"role": "system",
"content": "당신은 세계 최고의 회계 문서 전산화 전문가입니다. 이미지 내 표를 누락 없이 정확한 Markdown Table로 변환하세요. 병합된 셀은 빈 칸으로 두지 말고 상위 의미를 유지하세요."
},
{
"role": "user",
"content": [
{"type": "text", "text": "이 재무제표 페이지의 모든 수치와 계정과목을 정밀 마크다운으로 추출하세요."},
{"type": "image_url", "image_url": {"url": f"data:image/png;base64,{b64_img}"}}
]
}
],
temperature=0.0
)
return response.choices[0].message.content💬트리 구조 기술 토론 (0)
해당 주제에 관한 질의응답 및 피드백은 계층형 트리 댓글로 정리됩니다.
작성된 기술 토론이 아직 없습니다. 메인 보드에서 첫 번째 질문을 남겨보세요!
같은 트리 브랜치의 추천 아티클
[사례 연구] 24/7 고객 문의 78%를 상담원 개입 없이 해결한 AI 고객센터 구축기
중복/단순 문의(환불 정책, 배송 조회, 예약 변경)를 완전 자동화하고 복잡한 불만 사항만 상담원에게 이관하는 실전 아키텍처입니다.
복잡한 재무제표 및 계약서 PDF에서 표와 수치를 오차 없이 추출하는 비전 AI 파이프라인
텍스트 복사가 불가능한 스캔 PDF나 병합된 다중 행 표를 마크다운 및 관계형 DB로 완벽 변환하는 실무 데이터 파이프라인입니다.
카카오톡 알림톡 및 슬랙 양방향 연동: 기업형 AI 고객 상담 봇의 실시간 티켓팅 아키텍처
카카오톡으로 인입된 고객 문의를 AI가 24시간 실시간 답변하고, 복잡한 문의는 슬랙으로 즉시 전달하여 상담원이 원클릭 가로채기(Takeover)하는 실전 파이프라인입니다.