File size: 3,551 Bytes
0552b81 b0ce7e8 0552b81 b0ce7e8 0552b81 b0ce7e8 0552b81 b0ce7e8 0552b81 b0ce7e8 0552b81 b0ce7e8 0552b81 b0ce7e8 0552b81 b0ce7e8 0552b81 b0ce7e8 0552b81 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 |
import streamlit as st
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
st.title("🚀 Marketing Text Generator mit Falcon")
st.markdown("*Generiere kreative Marketing-Texte mit dem Falcon-7B Modell*")
@st.cache_resource
def load_falcon_model():
"""
Lädt das Falcon Modell in einer CPU-freundlichen Konfiguration.
Diese Version verwendet weniger Speicher und läuft auf allen Systemen.
"""
try:
model_name = "tiiuae/falcon-7b"
# Tokenizer bleibt unverändert
tokenizer = AutoTokenizer.from_pretrained(model_name)
# Angepasste Modellkonfiguration für CPU-Systeme
model = AutoModelForCausalLM.from_pretrained(
model_name,
trust_remote_code=True,
device_map="auto",
torch_dtype=torch.float32, # Standard-Datentyp statt 8-bit
low_cpu_mem_usage=True # Speicheroptimierung für CPU
)
return model, tokenizer
except Exception as e:
st.error(f"Fehler beim Laden des Modells: {str(e)}")
return None, None
# Hauptbereich für die Eingabe
with st.form("marketing_form"):
product_name = st.text_input(
"Produktname",
help="Geben Sie den Namen Ihres Produkts ein"
)
key_features = st.text_area(
"Produktmerkmale",
help="Beschreiben Sie die wichtigsten Eigenschaften (durch Kommas getrennt)"
)
# Zusätzliche Kontrolle über die Textlänge
max_length = st.slider(
"Maximale Textlänge",
min_value=50,
max_value=200,
value=100,
help="Längere Texte benötigen mehr Verarbeitungszeit"
)
submit = st.form_submit_button("Marketing-Text generieren")
if submit and product_name and key_features:
with st.spinner("Lade Falcon Modell... (Dies kann einige Minuten dauern)"):
model, tokenizer = load_falcon_model()
if model and tokenizer:
prompt = f"""
Erstelle einen kurzen, überzeugenden Marketing-Text für folgendes Produkt:
Produkt: {product_name}
Merkmale: {key_features}
Der Text sollte professionell und ansprechend sein.
"""
with st.spinner("Generiere Marketing-Text..."):
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_length=max_length,
temperature=0.7,
top_p=0.9,
num_return_sequences=1,
pad_token_id=tokenizer.eos_token_id # Verbesserte Token-Handhabung
)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
st.success("Text wurde erfolgreich generiert!")
st.markdown("### Ihr Marketing-Text:")
st.markdown(generated_text)
st.download_button(
"Text als Datei speichern",
generated_text,
file_name="marketing_text.txt"
)
elif submit:
st.warning("Bitte füllen Sie alle Felder aus.")
st.markdown("---")
st.markdown("""
**Wichtige Hinweise:**
- Die erste Generierung dauert länger, da das Modell geladen werden muss
- Auf Systemen ohne GPU kann die Verarbeitung mehrere Minuten in Anspruch nehmen
- Kürzere Texte werden schneller generiert
""") |