alexkueck commited on
Commit
c681786
·
verified ·
1 Parent(s): 09c4aa0

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -0
app.py CHANGED
@@ -204,6 +204,7 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
204
  #pipe = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty})
205
 
206
  # Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
 
207
  llm = HuggingFaceEndpoint(
208
  endpoint_url=f"https://api-inference.huggingface.co/models/{MODEL_NAME_HF}",
209
  api_key=hf_token,
@@ -213,6 +214,7 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
213
  top_p=top_p,
214
  repetition_penalty=repetition_penalty
215
  )
 
216
  #######################################################
217
  #Alternativ, wenn repro_id gegeben:
218
  # Verwenden Sie die InferenceApi von huggingface_hub
 
204
  #pipe = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty})
205
 
206
  # Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
207
+ """
208
  llm = HuggingFaceEndpoint(
209
  endpoint_url=f"https://api-inference.huggingface.co/models/{MODEL_NAME_HF}",
210
  api_key=hf_token,
 
214
  top_p=top_p,
215
  repetition_penalty=repetition_penalty
216
  )
217
+ """
218
  #######################################################
219
  #Alternativ, wenn repro_id gegeben:
220
  # Verwenden Sie die InferenceApi von huggingface_hub