Infinite Loop Issue: AI Model Generates Never-Ending Responses
#1
by
fubukishirou03
- opened
I’m encountering a critical issue where my AI model (coder01, based on GGUF) is generating infinite responses instead of stopping at a reasonable point. The output keeps looping endlessly, even with clear stop conditions.
Here’s the problem in detail:
Sample Prompt Used: "preciso da sua ajuda para melhor o meu site. Atualmente ele tá estático usando NuxtJs e Tailwind-CSS, a ideia é que ele fosse hospedado no GitHub Pages. Queria ter uma rota “meusite.com/posts/” que desse no index.vue do meu “blog”. Esse blog teria que ter os 3 posts mais recentes e os 2 com mais upvote, num formato bem “jornal sabe”. Apenas eu posso escrever post com minha role de adm, os usuários podem dar upvote ou comentar, mas precisam estar logados com uma conta. Eu não vou validar com confirmação de e-mail, mas vou precisar armazenar o SHA256 da senha e o email para uma possivel forma de recuperação da conta. O usuário pode ter qualquer nick fora da lista de nicks banidos e não será informado para os outros qual o e-mail dele, quero deixar o mais anonimo possível. Acredito que isso precise de um backend com API, se isso for o caso, gostaria de criar usando C#. Tenha em vista o fato de que eu sou novo nisso, não manjo muito como começar isso ou como fazer cada etapa, então me explique de forma clara."
Observed Behavior:
The model generates text indefinitely
The response was like the "think" and "response" parts mixed indefinitely. I noticed the bug and stopped the run.
I have experienced the same issue. I am trying to tinker and change the tokenizer and parameters, but not much luck. You can try using a low temperature value.