llm_aided_ocr
使用LLM(本地或API)增強Tesseract OCR輸出,進行錯誤修正、智能分塊,並將掃描的PDF格式化為Markdown
llm_aided_ocr 是什麼?
使用LLM(本地或API)增強Tesseract OCR輸出,進行錯誤修正、智能分塊,並將掃描的PDF格式化為Markdown
llm_aided_ocr 概覽
這是什麼
LLM-Aided OCR 是一套開源系統,利用大型語言模型(LLM)強化 Tesseract OCR 的輸出結果。它能修正 OCR 錯誤、進行智慧文字分段,並將結果格式化為 Markdown。本專案支援本機 LLM(透過 llama.cpp)以及雲端 API 提供者(OpenAI、Anthropic)。處理流程是先將掃描 PDF 轉換為圖片,執行 Tesseract OCR,再將原始文字送入 LLM 管線進行修正與格式化。系統包含非同步處理、Token 管理、重複內容移除,以及可選的頁首/頁碼抑制功能。最後會進行品質評估,比較原始 OCR 文字與最終輸出。
主要功能
- PDF 轉圖片與 Tesseract OCR,包含影像前處理(灰階、Otsu 二值化、膨脹)。
- 透過 LLM(本機或 API:OpenAI、Anthropic)進行錯誤修正與 Markdown 格式化。
- 智慧文字分段,以句子邊界分割並保留重疊以維持上下文。
- 重複內容移除與可選的頁首/頁碼抑制。
- 使用 API 型 LLM 時的非同步並行處理。
- 品質評估:比較原始 OCR 文字與處理後輸出,並提供評分。
- 支援本機 LLM 推論(GPU 加速)與雲端 API 提供者。
使用情境
本專案適合需要將掃描 PDF 轉換為乾淨、格式良好的 Markdown 或純文字文件的使用者。典型應用包括數位化書籍、歷史文件、研究論文,以及對 OCR 準確度要求高的法律或財務記錄。它可用於檔案保存工作流程、資料萃取管線,或任何需要大幅修正與結構化原始 Tesseract 輸出的場景。可選的離線模式(不使用 LLM)則為無法或不願使用 LLM 的使用者提供確定性清理功能。
快速開始
bashgit clone https://github.com/Dicklesworthstone/llm_aided_ocrcd llm_aided_ocrpyenv local 3.12python -m venv venvsource venv/bin/activatepython -m pip install --upgrade pippython -m pip install wheelpython -m pip install --upgrade setuptools wheelpip install -r requirements.txt安裝 Tesseract OCR 引擎(例如在 Ubuntu 上執行 sudo apt-get install tesseract-ocr)。在 .env 檔案中設定 LLM 提供者與 API 金鑰。然後執行:bashpython llm-aided-ocr-cli.py your_document.pdf
授權與價格
儲存庫的中繼資料與 README 中未說明授權條款。本專案標示為開源。
內容整理自該專案公開的 README 與儲存庫資訊。