Update app.py

app.py

@@ -1,15 +1,12 @@
 import torch
-from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
 MODEL_ID = "rinna/bilingual-gpt-neox-4b-instruction-ppo"
 
-# 8ビット量子化の設定を作成
-quantization_config = BitsAndBytesConfig(load_in_8bit=True)
-
+# モデルをロード（8ビット量子化を使用せず）
 model = AutoModelForCausalLM.from_pretrained(
     MODEL_ID,
-    quantization_config=quantization_config,
-    device_map="auto"
+    device_map="auto"  # 自動でCPU/GPUを選択
 )
 
 tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, use_fast=False)