Update app.py

app.py

@@ -1,13 +1,18 @@
+import os
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0"  # отключаем нестабильную загрузку
+
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
 from fastapi import FastAPI
+from fastapi.middleware.cors import CORSMiddleware
 from pydantic import BaseModel
-from transformers import AutoTokenizer, AutoModelForCausalLM
-import torch
-
-app = FastAPI()
+import uvicorn
 
 model_id = "sberbank-ai/rugpt3medium_based_on_gpt2"
+
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(model_id)
+
 device = "cuda" if torch.cuda.is_available() else "cpu"
 model.to(device)
 
@@ -17,12 +22,8 @@ context = (
     "расположенный в городе Иннополис, Татарстан.\n"
 )
 
-class Question(BaseModel):
-    message: str
-
-@app.post("/ask")
-def ask(q: Question):
-    prompt = f"{context}\nВопрос: {q.message}\nОтвет:"
+def respond(message: str) -> str:
+    prompt = f"Прочитай текст и ответь на вопрос:\n\n{context}\n\nВопрос: {message}\nОтвет:"
     input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
 
     with torch.no_grad():
@@ -35,10 +36,37 @@ def ask(q: Question):
             pad_token_id=tokenizer.eos_token_id
         )
 
-    output = tokenizer.decode(output_ids[0], skip_special_tokens=True)
-    if "Ответ:" in output:
-        answer = output.split("Ответ:")[-1].strip()
+    full_output = tokenizer.decode(output_ids[0], skip_special_tokens=True)
+
+    if "Ответ:" in full_output:
+        answer = full_output.split("Ответ:")[-1].strip()
     else:
-        answer = output.strip()
+        answer = full_output[len(prompt):].strip()
+
+    return answer
+
+# FastAPI app
+app = FastAPI(title="Иннополис бот API")
+
+# Чтобы Unity или браузеры могли обращаться, разрешим CORS (подстрой по своему домену)
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],  # или укажи нужный адрес, например ["http://localhost:3000"]
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+class QuestionRequest(BaseModel):
+    question: str
 
+class AnswerResponse(BaseModel):
+    answer: str
+
+@app.post("/api/ask", response_model=AnswerResponse)
+def ask_question(request: QuestionRequest):
+    answer = respond(request.question)
     return {"answer": answer}
+
+if __name__ == "__main__":
+    uvicorn.run("app:app", host="0.0.0.0", port=8000)