Depois de muito trabalho, semanas pensando em cada fluxo de conversa, na persona e canais do seu bot, finamente ele é liberado para os seus clientes! Finalmente um pouco de descanso! Nosso trabalho está concluído! Certo?
Certo?
Meus amigos, nem tudo são flores no reino do chatbot.
Há algum tempo, escrevi esse artigo sobre a importância da curadoria no sucesso de chatbots. Também escrevi sobre como o Botgrade, a plataforma que criamos na Certsys Labs, te ajuda com analytics e BI do seu agente.
Agora vamos explorar a curadoria e expansão na prática! Como o Botgrade agiliza, melhora e metrifica o trabalho da equipe que lida com o chatbot no dia a dia.
Módulos do Botgrade
Relembrando os módulos do Botgrade, nós temos 6 módulos: 3 de analytics e 3 de curadoria em si.
Um dashboard customizável
Sistema de validação de treinamento
Módulo de curadoria integrada
Mapeador de fluxos de conversa
Visualização das conversas
Gerenciador de testes unitários automatizados
Hoje trataremos dos módulos de validação de treinamento, de curadoria integrada e de testes unitários automatizados.
Validação do treinamento
Este é um sistema que realiza testes de acurácia no seu agente conversacional. Talvez isso soe técnico demais, mas não se assuste — na verdade ele é bem fácil de usar.
Neste módulo, transformamos técnicas amplamente utilizadas para medir modelos de inteligência artificial em algo extremamente simples e visual. Desse modo, não é preciso ser técnico para realizar uma curadoria profundamente baseada em dados.
Como o motor de validação funciona?
Este motor analisa o funcionamento da rede neural por trás do entendimento das intenções entendidas pelo seu bot. Ele cria várias “cópias” temporárias do seu robô, cada uma ligeiramente diferente das outras — com exemplos diferentes para cada intenção.
Ele então testa cada uma dessas cópias e, assim, identifica quais intenções não estão sendo entendidas, quais estão sendo confundidas com outras e quais precisam de mais exemplos de treinamento.
Não é preciso ser técnico para realizar uma curadoria profundamente baseada em dados
Além desses insights, o motor também atribui uma nota geral para a qualidade do entendimento do seu chatbot, e mantém registrada uma série histórica para comparação. Essa nota é gerada a partir da compilação de três métricas técnicas geradas por ele.
Mas eu quero entender os dados técnicos! Sem problemas, você também pode acessar dados mais técnicos clicando em “Ver detalhes” ao lado da pontuação do seu bot.
Agora já aviso: o resto desse parágrafo é extremamente técnico, então se você não se importa realmente com esse tipo de coisa, pode pular se preferir. Lá, quatro dados estão disponíveis: a acurácia média, a precisão, revocação e a matriz de confusão das intenções.
Você pode ler mais sobre cada um desses dados e o que eles significam nesta série de artigos.
Curadoria integrada
Nós sabemos que não é possível, e nem desejado, retirar totalmente o trabalho humano da curadoria e treinamento do