Update app.py
Browse files
app.py
CHANGED
@@ -204,6 +204,7 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
|
|
204 |
#pipe = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty})
|
205 |
|
206 |
# Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
|
|
|
207 |
llm = HuggingFaceEndpoint(
|
208 |
endpoint_url=f"https://api-inference.huggingface.co/models/{MODEL_NAME_HF}",
|
209 |
api_key=hf_token,
|
@@ -213,6 +214,7 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
|
|
213 |
top_p=top_p,
|
214 |
repetition_penalty=repetition_penalty
|
215 |
)
|
|
|
216 |
#######################################################
|
217 |
#Alternativ, wenn repro_id gegeben:
|
218 |
# Verwenden Sie die InferenceApi von huggingface_hub
|
|
|
204 |
#pipe = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty})
|
205 |
|
206 |
# Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
|
207 |
+
"""
|
208 |
llm = HuggingFaceEndpoint(
|
209 |
endpoint_url=f"https://api-inference.huggingface.co/models/{MODEL_NAME_HF}",
|
210 |
api_key=hf_token,
|
|
|
214 |
top_p=top_p,
|
215 |
repetition_penalty=repetition_penalty
|
216 |
)
|
217 |
+
"""
|
218 |
#######################################################
|
219 |
#Alternativ, wenn repro_id gegeben:
|
220 |
# Verwenden Sie die InferenceApi von huggingface_hub
|