File size: 2,112 Bytes
ba651f7 2809bee ba651f7 c815242 ba651f7 c423e28 2809bee ba651f7 2809bee ba651f7 c423e28 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 |
import os
import cv2
import pytesseract
from pdf2image import convert_from_path
from transformers import AutoTokenizer, AutoModelForCausalLM
# --- 1. OCRで決算短信PDFからテキスト抽出 ---
# PDFファイル名
pdf_path = "kessan.pdf"
# PDFを画像に変換（1ページごとにリストへ）
images = convert_from_path(pdf_path)
# Tesseractのパス設定（必要な場合、環境に合わせて変更）
# 例: Windowsの場合
# pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'
extracted_text = ""
for i, image in enumerate(images):
# PillowのImageオブジェクトをOpenCV形式に変換
image_cv = cv2.cvtColor(np.array(image), cv2.COLOR_RGB2BGR)
# 前処理: グレースケール化、二値化（OTSU）やノイズ除去などを必要に応じて追加
gray = cv2.cvtColor(image_cv, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
# OCR処理（日本語対応の場合はlang="jpn"を指定）
text = pytesseract.image_to_string(thresh, lang="jpn")
extracted_text += text + "\n"
print("OCR抽出完了。")
# --- 2. 抽出テキストをLLMへ入力して要約生成 ---
# Hugging Faceの蒸留済みLLM DeepSeek-Coder-1.3B の利用例
model_name = "deepseek-ai/deepseek-coder-1.3b"
# モデルとトークナイザーのロード
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
# プロンプト作成（必要に応じて調整）
prompt = (
"以下の決算短信の内容を要約し、投資家向けに分かりやすく説明してください:\n\n" +
extracted_text
)
# トークナイズ
inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=4096)
# 生成（max_lengthやその他のパラメータは必要に応じて調整）
output_ids = model.generate(inputs.input_ids, max_length=512, num_beams=5, early_stopping=True)
summary = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print("\n=== 要約結果 ===")
print(summary)
|