# Запуск iface.launch() from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline import torch import gradio as gr # Загружаем токенизатор и модель model_id = "HuggingFaceH4/zephyr-7b-beta" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto") # Функция генерации диалогового ответа def generate_zephyr_response(prompt): messages = [ {"role": "system", "content": "Ты — дружелюбный и умный ассистент."}, {"role": "user", "content": prompt} ] prompt_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = tokenizer(prompt_text, return_tensors="pt").to(model.device) with torch.no_grad(): outputs = model.generate(**inputs, max_new_tokens=256, do_sample=True, temperature=0.7) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return result.split("assistant")[-1].strip() # Интерфейс Gradio iface = gr.Interface( fn=generate_zephyr_response, inputs=gr.Textbox(label="Введите ваш запрос"), outputs=gr.Textbox(label="Ответ от ChatGPT"), title="Интерфейс ChatGPT", description="Пример взаимодействия с API OpenAI через Hugging Face Space" ) iface.launch()