PythonでPDFMinerを使ってPDFからテキストを抽出する

pip install pdfminer.six

python -m venv venv
source venv/bin/activate  # Windowsでは: venv\Scripts\activate
pip install pdfminer.six

pdf2txt.py --version

from pdfminer.high_level import extract_text

# PDFからすべてのテキストを抽出
text = extract_text('document.pdf')
print(text)

from pdfminer.high_level import extract_text

# ページ2〜5（0インデックス）からテキストを抽出
text = extract_text('document.pdf', page_numbers=[1, 2, 3, 4])
print(text)

from pdfminer.high_level import extract_pages
from pdfminer.layout import LTTextContainer

for page_layout in extract_pages('document.pdf'):
    for element in page_layout:
        if isinstance(element, LTTextContainer):
            print(element.get_text())

from pdfminer.high_level import extract_text
from pdfminer.layout import LAParams

# カスタムLAParamsを作成
laparams = LAParams(
    line_overlap=0.5,      # テキスト行の垂直重複の最小値
    char_margin=2.0,       # 同じ単語内の文字間の最大間隔（文字幅の倍数）
    line_margin=0.5,       # 同じ段落内の行間の最大間隔
    word_margin=0.1,       # 単語間の間隔しきい値
    boxes_flow=0.5,        # テキストボックスのフロー方向しきい値
    detect_vertical=True,  # 縦書きテキストの検出を有効
    all_texts=False        # ボックス内のテキストのみを抽出
)

text = extract_text('document.pdf', laparams=laparams)

from pdfminer.high_level import extract_pages
from pdfminer.layout import LTTextBox, LTTextLine, LTChar

for page_layout in extract_pages('document.pdf'):
    for element in page_layout:
        if isinstance(element, LTTextBox):
            # ボーダーボックスの座標を取得
            x0, y0, x1, y1 = element.bbox
            print(f"({x0}, {y0}) にテキストがあります: {element.get_text()}")
            
            # 行ごとに処理
            for text_line in element:
                if isinstance(text_line, LTTextLine):
                    # 文字レベルの詳細を取得
                    for char in text_line:
                        if isinstance(char, LTChar):
                            print(f"文字: {char.get_text()}, "
                                  f"フォント: {char.fontname}, "
                                  f"サイズ: {char.height}")

from pdfminer.high_level import extract_text

# パスワード付きPDFからテキストを抽出
text = extract_text('encrypted.pdf', password='your_password')

from pdfminer.high_level import extract_text
from pdfminer.layout import LAParams

# マルチカラムレイアウトに最適化
laparams = LAParams(
    detect_vertical=False,
    line_margin=0.3,
    word_margin=0.1,
    boxes_flow=0.3  # マルチカラム検出に有利な低い値
)

text = extract_text('multi_column.pdf', laparams=laparams)

from pdfminer.high_level import extract_text

# Unicodeサポート付きテキスト抽出
text = extract_text('multilingual.pdf', codec='utf-8')

# UTF-8エンコーディングでファイルに保存
with open('output.txt', 'w', encoding='utf-8') as f:
    f.write(text)

from pdfminer.high_level import extract_text
from pdfminer.high_level import extract_pages
from pdfminer.layout import LTFigure, LTImage

def is_scanned_pdf(pdf_path):
    """PDFがスキャンされている（主に画像）かどうかをチェック"""
    text_count = 0
    image_count = 0
    
    for page_layout in extract_pages(pdf_path):
        for element in page_layout:
            if isinstance(element, (LTFigure, LTImage)):
                image_count += 1
            elif hasattr(element, 'get_text'):
                if element.get_text().strip():
                    text_count += 1
    
    # 画像がテキストの2倍以上ある場合、スキャンされた可能性が高い
    return image_count > text_count * 2

if is_scanned_pdf('document.pdf'):
    print("このPDFはスキャンされているようです - OCRを使用してください")
else:
    text = extract_text('document.pdf')
    print(text)

# テキストを標準出力に抽出
pdf2txt.py document.pdf

# ファイルに保存
pdf2txt.py -o output.txt document.pdf

# 特定のページを抽出
pdf2txt.py -p 1,2,3 document.pdf

# HTMLとして抽出
pdf2txt.py -t html -o output.html document.pdf

# カスタムレイアウトパラメータ
pdf2txt.py -L 0.3 -W 0.1 document.pdf

# 詳細なレイアウト（XML）で抽出
pdf2txt.py -t xml -o layout.xml document.pdf

# 暗号化されたPDFにパスワードを設定
pdf2txt.py -P mypassword encrypted.pdf

from pdfminer.high_level import extract_pages
from pdfminer.layout import LAParams

# 必要なページのみを処理
def extract_page_range(pdf_path, start_page, end_page):
    text_content = []
    for i, page_layout in enumerate(extract_pages(pdf_path)):
        if i < start_page:
            continue
        if i >= end_page:
            break
        text_content.append(page_layout)
    return text_content

# レイアウト分析を無効にして速度を向上
from pdfminer.high_level import extract_text
text = extract_text('large.pdf', laparams=None)  # はるかに速い

from multiprocessing import Pool
from pdfminer.high_level import extract_text
import os

def process_pdf(pdf_path):
    """単一のPDFファイルを処理"""
    try:
        text = extract_text(pdf_path)
        output_path = pdf_path.replace('.pdf', '.txt')
        with open(output_path, 'w', encoding='utf-8') as f:
            f.write(text)
        return f"処理済み: {pdf_path}"
    except Exception as e:
        return f"{pdf_path}の処理エラー: {str(e)}"

# パラレル処理
def batch_process_pdfs(pdf_directory, num_workers=4):
    pdf_files = [os.path.join(pdf_directory, f) 
                 for f in os.listdir(pdf_directory) 
                 if f.endswith('.pdf')]
    
    with Pool(num_workers) as pool:
        results = pool.map(process_pdf, pdf_files)
    
    for result in results:
        print(result)

# 使い方
batch_process_pdfs('/path/to/pdfs', num_workers=4)

from pdfminer.layout import LAParams
laparams = LAParams(boxes_flow=0.3)  # 異なる値を試してください
text = extract_text('document.pdf', laparams=laparams)

laparams = LAParams(word_margin=0.2)  # デフォルトの0.1から増やす
text = extract_text('document.pdf', laparams=laparams)

text = extract_text('document.pdf', codec='utf-8')

def extract_text_chunked(pdf_path, chunk_size=10):
    """メモリ使用量を減らすためにテキストをチャンクごとに抽出"""
    all_text = []
    page_count = 0
    
    for page_layout in extract_pages(pdf_path):
        page_text = []
        for element in page_layout:
            if hasattr(element, 'get_text'):
                page_text.append(element.get_text())
        
        all_text.append(''.join(page_text))
        page_count += 1
        
        # チャンクごとに処理
        if page_count % chunk_size == 0:
            yield ''.join(all_text)
            all_text = []
    
    # 残りのテキストを出力
    if all_text:
        yield ''.join(all_text)

from pdfminer.high_level import extract_pages, extract_text
from pdfminer.layout import LTTextBox, LTChar
from collections import Counter
import re

def analyze_pdf(pdf_path):
    """テキストを抽出し、ドキュメント分析を提供"""
    
    # フルテキストを抽出
    full_text = extract_text(pdf_path)
    
    # 統計情報
    stats = {
        'total_chars': len(full_text),
        'total_words': len(full_text.split()),
        'total_lines': full_text.count('\n'),
        'fonts': Counter(),
        'font_sizes': Counter(),
        'pages': 0
    }
    
    # 詳細な分析
    for page_layout in extract_pages(pdf_path):
        stats['pages'] += 1
        
        for element in page_layout:
            if isinstance(element, LTTextBox):
                for line in element:
                    for char in line:
                        if isinstance(char, LTChar):
                            stats['fonts'][char.fontname] += 1
                            stats['font_sizes'][round(char.height, 1)] += 1
    
    return {
        'text': full_text,
        'stats': stats,
        'most_common_font': stats['fonts'].most_common(1)[0] if stats['fonts'] else None,
        'most_common_size': stats['font_sizes'].most_common(1)[0] if stats['font_sizes'] else None
    }

# 使い方
result = analyze_pdf('document.pdf')
print(f"ページ数: {result['stats']['pages']}")
print(f"単語数: {result['stats']['total_words']}")
print(f"主なフォント: {result['most_common_font']}")
print(f"主なサイズ: {result['most_common_size']}")