import os import cv2 import pytesseract from pdf2image import convert_from_path from transformers import AutoTokenizer, AutoModelForCausalLM # --- 1. OCRで決算短信PDFからテキスト抽出 --- # PDFファイル名 pdf_path = "kessan.pdf" # PDFを画像に変換(1ページごとにリストへ) images = convert_from_path(pdf_path) # Tesseractのパス設定(必要な場合、環境に合わせて変更) # 例: Windowsの場合 # pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe' extracted_text = "" for i, image in enumerate(images): # PillowのImageオブジェクトをOpenCV形式に変換 image_cv = cv2.cvtColor(np.array(image), cv2.COLOR_RGB2BGR) # 前処理: グレースケール化、二値化(OTSU)やノイズ除去などを必要に応じて追加 gray = cv2.cvtColor(image_cv, cv2.COLOR_BGR2GRAY) thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1] # OCR処理(日本語対応の場合はlang="jpn"を指定) text = pytesseract.image_to_string(thresh, lang="jpn") extracted_text += text + "\n" print("OCR抽出完了。") # --- 2. 抽出テキストをLLMへ入力して要約生成 --- # Hugging Faceの蒸留済みLLM DeepSeek-Coder-1.3B の利用例 model_name = "deepseek-ai/deepseek-coder-1.3b" # モデルとトークナイザーのロード tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # プロンプト作成(必要に応じて調整) prompt = ( "以下の決算短信の内容を要約し、投資家向けに分かりやすく説明してください:\n\n" + extracted_text ) # トークナイズ inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=4096) # 生成(max_lengthやその他のパラメータは必要に応じて調整) output_ids = model.generate(inputs.input_ids, max_length=512, num_beams=5, early_stopping=True) summary = tokenizer.decode(output_ids[0], skip_special_tokens=True) print("\n=== 要約結果 ===") print(summary)