Update app.py

app.py

@@ -1,17 +1,56 @@
-from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
-import torch
+import os
+import cv2
+import pytesseract
+from pdf2image import convert_from_path
+from transformers import AutoTokenizer, AutoModelForCausalLM
 
-MODEL_NAME = "rinna/japanese-gpt-0.5b"  # 500Mの軽量モデル
+# --- 1. OCRで決算短信PDFからテキスト抽出 ---
+# PDFファイル名
+pdf_path = "kessan.pdf"
 
-tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-model = AutoModelForCausalLM.from_pretrained(
-    MODEL_NAME, 
-    torch_dtype=torch.float16,  # メモリ節約
-    low_cpu_mem_usage=True  # メモリ圧縮
+# PDFを画像に変換（1ページごとにリストへ）
+images = convert_from_path(pdf_path)
+
+# Tesseractのパス設定（必要な場合、環境に合わせて変更）
+# 例: Windowsの場合
+# pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'
+
+extracted_text = ""
+
+for i, image in enumerate(images):
+    # PillowのImageオブジェクトをOpenCV形式に変換
+    image_cv = cv2.cvtColor(np.array(image), cv2.COLOR_RGB2BGR)
+    
+    # 前処理: グレースケール化、二値化（OTSU）やノイズ除去などを必要に応じて追加
+    gray = cv2.cvtColor(image_cv, cv2.COLOR_BGR2GRAY)
+    thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
+    # OCR処理（日本語対応の場合はlang="jpn"を指定）
+    text = pytesseract.image_to_string(thresh, lang="jpn")
+    extracted_text += text + "\n"
+
+print("OCR抽出完了。")
+
+# --- 2. 抽出テキストをLLMへ入力して要約生成 ---
+# Hugging Faceの蒸留済みLLM DeepSeek-Coder-1.3B の利用例
+model_name = "deepseek-ai/deepseek-coder-1.3b"
+
+# モデルとトークナイザーのロード
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
+
+# プロンプト作成（必要に応じて調整）
+prompt = (
+    "以下の決算短信の内容を要約し、投資家向けに分かりやすく説明してください:\n\n" +
+    extracted_text
 )
 
-generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
+# トークナイズ
+inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=4096)
+
+# 生成（max_lengthやその他のパラメータは必要に応じて調整）
+output_ids = model.generate(inputs.input_ids, max_length=512, num_beams=5, early_stopping=True)
+summary = tokenizer.decode(output_ids[0], skip_special_tokens=True)
 
-def generate_text(prompt: str, max_length: int = 100):
-    return generator(prompt, max_length=max_length)[0]['generated_text']
+print("\n=== 要約結果 ===")
+print(summary)