Update app.py

app.py

@@ -87,6 +87,16 @@ def load_model_on_demand(model_type: str):
 # GPU 설정
 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")  # 명시적으로 cuda:0 지정
 
+# 전역 설정
+torch.backends.cudnn.benchmark = False
+torch.backends.cuda.matmul.allow_tf32 = True
+torch.set_float32_matmul_precision('medium')
+
+# 캐시 크기 제한
+os.environ['TRANSFORMERS_CACHE'] = '/tmp/transformers_cache'
+os.environ['HF_HOME'] = '/tmp/hf_home'
+os.environ['TORCH_HOME'] = '/tmp/torch_home'
+
 # GPU 설정을 try-except로 감싸기
 if torch.cuda.is_available():
     try: