Vasco Costa Ramires
1 UNIVERSIDADE DE PERNAMBUCO FACULDADE DE CIÊNCIA E TECNOLOGIA DE CARUARU BACHARELADO EM SISTEMAS DE INFORMAÇÃO INTEGRAÇÃO DO SISTEMA TEXTO-FALA DO MARYTTS AO FIVE TRABALHO DE GRADUAÇÃO SISTEMAS DE INFORMAÇÃO DANILO DE SOUSA BARBOSA Caruaru, 2014
2 DANILO DE SOUSA BARBOSA INTEGRAÇÃO DO SISTEMA TEXTO-FALA DO MARYTTS AO FIVE Trabalho de Graduação oferecido ao curso de Sistemas de Informação da Universidade de Pernambuco, Faculdade de Ciência e Tecnologia de Caruaru, como requisito parcial à obtenção do grau de Bacharel em Sistemas de Informação. Orientador: Prof. Dr. Alexandre Magno Andrade Maciel Caruaru, 2014
4 AGRADECIMENTOS Primeiramente agradeço a Deus, por seu amor, sua proteção e por está sempre guiando a minha vida. A minha mãe, Rosete de Sousa, pelo apoio incondicional em todos os momentos, sempre incentivando, apoiando e acreditando no meu potencial. Ao meu pai, Damião José, pelo apoio em todos os momentos, sempre ajudando quando precisava. A minha tia Rosalva, por ajuda na concretização dessa fase da minha vida. Ao professor Alexandre Maciel pelas orientações, revisões do texto, incentivo e apoio motivacional. Aos meus amigos de graduação, pela amizade е pelo apoio constante. Enfim, agradeço a todos que contribuíram para a minha formação acadêmica, profissional, pessoal.
5 RESUMO A relação de comunicação entre o homem e a máquina tem se tornado cada vez mais relevante nos sistemas computacionais devido a sua fácil interação. Em virtude dessa facilidade muitos trabalhos têm sido realizados a fim de proporcionar a geração de voz sintetizada com maior naturalidade em diversos idiomas. Várias técnicas tem ganhado destaque na conversão de texto em fala sintetizada sendo uma das mais relevantes as baseadas nos Modelos Ocultos de Markov. O FIVE Framework for an Integrated Voice Environment é uma ferramenta desenvolvida para auxiliar a construção e instanciação dos motores de síntese de fala por meio de HMM. Apesar dos bons resultados obtidos com esse framework, existe uma falha de portabilidade que não permite a instanciação dos motores de síntese em dispositivos móveis. Este trabalho tem como objetivo propor a integração do sistema textofala do sistema MARY TTS ao Framework FIVE para torná-lo portável em ambiente de dispositivos móveis. Para isso, foi realizado um levantamento da área de síntese de voz, com uma abordagem no sistema de conversão texto-fala e um estudo das plataformas FIVE e MARY TTS, assim como o treinamento de duas vozes no idioma português e um teste de integração para dispositivos móveis. A partir disso, o FIVE passou a dispor das ferramentas texto-fala do MARY para a realização do treinamento e sintetização das vozes masculina e feminina com sua execução em ambiente de dispositivos móveis. Palavras-chave: Síntese de voz, Sistema texto-fala, FIVE, MARY TTS.
6 ABSTRACT The communication relationship between man and machine has become increasingly relevant in computational systems due to its easy interaction. Because of this facility many studies have been done to provide the generation of synthesized speech more naturally in multiple languages. Several techniques have gained prominence in the conversion of text into synthesized speech being one of the most relevant based on Hidden Markov Models. The FIVE Framework for an Integrated Voice Environment is a tool developed to support the construction and instantiation of speech synthesis using HMM engine. Despite of the good results obtained with this framework, exists a failure of portability that does not allow the instantiation of synthesis engines on mobile devices. This paper aims to propose the integration of text-to-speech system of the MARY TTS system Framework FIVE to make it portable across mobile devices environment. For this, was performed a survey the area of speech synthesis, with an approach to the text-to-speech conversion system and a study of platform FIVE and MARY TTS, as well as training of two voices in Portuguese language and integration tests for mobile devices. From addition, the FIVE now has text-to-speech tools in MARY for conducting voice training and synthesis of male and female voices with their execution on mobile environment.. Keywords: Voice Synthesis, text-to-speech System, FIVE, MARY TTS..
7 LISTA DE FIGURAS Figura Diagrama funcional de um sistema TTS ( MAIA, 2006) Figura Esquema de sistema de síntese baseado em HMM (TOKUDA et al., 2000) Figura Módulos da arquitetura do FIVE (MACIEL e CARVALHO, 2010) Figura 3.2 Código fonte para instanciação de um sintetizador (MACIEL, 2012) Figura 4.1 Interface do Transcription GUI (MARY, 2014) Figura 4.2 Interface do Voice Import (MARY, 2014) Figura 4.3 Diagrama funcional para criação do suporte adaptado ( MARY, 2014) Figura 4.4 Diagrama funcional da construção da voz adaptado (MARY, 2014) Figura 4.5 Estruturação dos pacote do FIVE Figura 4.6 Teste de portabilidade no emulador do Android Figura 4.7 Teste de portabilidade no dispositivo móvel Nexus
8 LISTA DE TABELAS Tabela Geração de informação (MAIA, 2006) Tabela Conjunto de fonética SAMPA ( MAIA, 2006) Tabela Funções de síntese implementadas pela API (MACIEL, 2012) Tabela Tabela com as transcrições Tabela Tabela com os parâmetros de configuração do HMM Tabela Estruturação das classes do Motor HTS
9 LISTA DE SÍMBOLOS E SIGLAS API Application Programming Interface DFKI Deutsche Forschungszentrum für Künstliche Intelligenz F0 Fundamental Frequency FIVE Framework for an Integrated Voice Environment GUI Graphical User Interface HMM Hidden Markov Models HTK Hidden Markov Models Toolkit HTS HMM-based Speech Synthesis System IDE Integrated Development Environment INPI Instituto Nacional de Propriedade Intelectual do Brasil JDK Java Development Kit JDT Eclipse Java Development Tools JRE Java Runtime Environment MARY Modular Architecture for Reseach on speech synthesis MFCC Mel Frequency Cepstral Coefficient MLSA Mel Log Spectrum Approximation MVC Model View Controller PDS Processamento Digital de Sinal PLN Processamento de Linguagem Natural POS Part Of Speech PSOLA Pitch Synchronous Overlap and Add SAMPA Speech Assessment Methods Phonetic Alphabet SPTK Speech Signal Processing Toolkit TTS Text-To-Speech VODER Voice Operating Demonstrator
10 SUMÁRIO 1. INTRODUÇÃO Descrição do Problema Objetivo Motivação Organização SÍNTESE DE VOZ Arquitetura Processamento de Linguagem Natural Processamento de Sinal Digital Síntese Baseada em HMM Treinamento Síntese Requisitos de um Sistema TTS em Português do Brasil Geração de Informação Conjunto de Fonéticas Sistemas TTS em Português do Brasil Sistema MARY TTS FRAMEWORK FIVE Arquitetura Motor de Síntese Criação do Motor Instanciação do Motor INTEGRAÇÃO Estudo das Ferramentas Treinamento da Voz... 35
11 Suporte Para o Português do Brasil Construção do Modelo de Voz Preparação dos Dados Treinamento dos HMMS Processo de Integração Teste de Portabilidade CONSIDERAÇÕES FINAIS Dificuldades Encontradas Atividades Paralelas Trabalhos Futuros REFERÊNCIAS APÊNDICE A ANEXO A... 63
12 12 1. INTRODUÇÃO Nos últimos anos, a área de interface de voz tem recebido grande atenção por parte dos acadêmicos, devido a duas razões: primeiro relacionado a melhorias no desempenho dos sistemas automáticos de processamento de voz, incluindo o reconhecimento de voz, tradução de expressões idiomáticas e síntese de voz; segundo, relacionado à convergência de dispositivos e da grande produção de conteúdo multimídia, que requer mais rápido e eficiente meio de interação com o usuário. Além desses avanços, a construção de aplicações com interface de voz que são capazes de reconhecer a fala, entender comandos de voz de seus usuários e fornecer respostas para eles continua sendo um desafio, devido a sua interdisciplinaridade e complexidade do seu desenvolvimento (FARINAZZO et al., 2010). De acordo com HUANG et al.(2001), a arquitetura típica para o desenvolvimento deste tipo de interface de voz possui três componentes principais: o primeira representa o conjunto de motores que são responsáveis pela síntese de voz; o segunda consiste em uma API (Application Programming Interface) que normalmente é usada para facilitar a comunicação entre os motores e a aplicação; e o último consiste em um conjunto de aplicações que podem ser desenvolvidas. Esta arquitetura tem orientado diversos trabalhos nesta área ao longo dos anos e vários recursos foram criados com o objetivo de ajudar este difícil processo. A construção do mecanismo de síntese de voz é fundamental no processo de reconhecimento de padrões que normalmente segue uma arquitetura comum para qualquer padrão: aquisição padrão, extração de características, classificação de padrões e análise dos resultados (RICHARD; PETER; DAVID, 2001). Por outro lado, a instanciação desses motores em camada de aplicação deve seguir um conjunto de configurações padrão especificada na API, dependendo da linguagem de programação ou plataforma. As aplicações podem ser tão diversas quanto às necessidades dos desenvolvedores e de seus clientes. A síntese de voz possui muitos estudos na área acadêmica que proporciona uma melhoria na qualidade da fala sintética, no entanto, pouco esforço tem sido feito para trazer esses avanços ao nível da aplicação. Os recursos disponíveis de hoje atende as aplicações específicas, tem curva de aprendizagem lenta e apresentam sérios problemas de integração, extensibilidade e portabilidade. Diante desse cenário, foi projetado o FIVE (Framework for an Integrated Voice Environment) com o propósito de auxiliar o processo de construção e instanciação de
13 13 mecanismos de fala em diferentes ambientes tecnológicos (telefone, celular, TV digital), de uma forma integrada e escalável em várias técnicas (MACIEL e CARVALHO, 2010). O FIVE é uma ferramenta open-source "em desenvolvimento", que requer a colaboração acadêmica para auxiliar o desenvolvimento de novas funcionalidades e melhorias dos atuais processos. Em MACIEL e CARVALHO (2012) foi apresentado um processo de integração de um sistema TTS (Text-To-Speech) baseado em HMM para o FIVE. Nesse trabalho, os recursos como SPTK (SPTK, 2014), HTS (HTS, 2014) e motor HTS (HTSENGINE, 2014) foram utilizados para a extração de características, treinamento e testes, respectivamente. Além da análise de voz que adquiriu resultados extremamente relevantes, em comparação com o sintetizador Loquendo, que foi implementado para fazer execução desses recursos através do comando shell. Esta solução é contra a proposta de independência da plataforma FIVE e um desenvolvimento semelhante em Java foi sugerido como trabalho futuro. Vários trabalhos vêm sendo realizados para melhorar o sistema TTS em português do Brasil com a utilização da técnica concatenativa (ALBANO, 1997); com a utilização de um corpus de voz treinado por um motor de síntese baseado em HMM (SEARA, 2007) e com a utilização de um sistema HMM para o português do Brasil da Universidade Federal do Rio de Janeiro (UFRJ) (MAIA, 2006). Existem diversas ferramentas relacionadas à construção de sintetizadores de voz que visam o idioma português do Brasil, como a LIANE TTS da UFRJ (LIANE, 2014); o sistema Festival TTS criado pela Universidade de Edimburg (FESTIVAL, 2014), além do sistema MARY TTS desenvolvido pelo centro de pesquisa alemã (DFKI) (MARYTTS, 2014). Diante dos inúmeros sintetizadores de voz foi escolhido o sistema MARYTTS pelo fato de possui características de extensibilidade e portabilidade, utiliza uma codificação do motor HTS em JAVA e realiza um processo de criação e treinamento de voz mais otimizado. Esta monografia fornecerá detalhes significativos sobre como será realizada a integração do sistema TTS do MARY ao FIVE, mostrando os benefícios, obstáculos e desafios associados com um ambiente efetivo para a construção de motores e a instanciação deles em suas aplicações, proporcionando por um lado, eficiência em tempo de execução e por outro lado, um modo de implementação com modularidade, fraco acoplamento e independência de plataforma.
14 Descrição do Problema O módulo de síntese de voz do framework FIVE utiliza uma extensão HTK desenvolvido na linguagem C (HTK, 2014). Por causa desse recurso limita-se a portabilidade do framework FIVE, visto que, para executá-lo é necessário a recompilação dos recursos. Além disso, restringe o treinamento da voz, pois não possui nenhuma funcionalidade para a realização desse processo. Como o FIVE foi desenvolvido no padrão de projeto de framework, uma forma de solucionar este problema seria a substituição do mecanismo de síntese de voz desenvolvido em C para algum em Java, visto que é a linguagem original do FIVE e não seria necessária nenhuma recompilação. Uma alternativa interessante é a utilização do framework MARY (Modular Architecture for Reseach on speech synthesis ), um sistema TTS completo que possui uma ferramenta de treinamento de voz, escrito totalmente em Java Objetivo Este trabalho tem como objetivo geral a integração do sistema texto-fala do MARYTTS ao FIVE. Este objetivo pode ser desdobrado nos seguintes objetivos específicos: Levantar o estado de arte da síntese de voz com uma abordagem no sistema texto-fala baseado em HMMs; Analisar o projeto, arquitetura e implementação do framework FIVE; Analisar o sistema MARY TTS e as suas ferramentas de treinamento de voz; Realizar a integração do sistema texto-fala do MARYTTS ao FIVE; Treinar um conjunto de vozes na adaptação do sistema texto-fala do FIVE; Testar a portabilidade das vozes produzidas no sistema operacional Android.
15 Motivação A motivação maior deste trabalho está no avanço da utilização dos sistemas textofala para o português do Brasil em diversas áreas profissionais da nossa sociedade, sendo usado como auxílio à fala dos portadores de necessidades especiais, em equipamentos de voz que utilizam interações de voz sintética e em atividades que necessitam de mãos e visão livre para realizar suas tarefas. Outros fatores relevantes, inerentes aos sistemas texto-fala, servem como motivação para este trabalho. A seguir apresentamos alguns deles: Portabilidade: Existem diversos ambientes tecnológicos que podem realizar a portabilidade dos sistemas de voz e ser instanciados em múltiplas plataformas (dispositivos móveis, PC e TV digital). Acessibilidade: diversas aplicações utilizam sistemas texto-fala, como modo de aumentar a acessibilidade dos sistemas computacionais usados pelas pessoas com necessidades especiais. Naturalidade: a voz é considerada a forma mais natural de comunicação entre os homens, no entanto, ainda busca uma melhoria das vozes geradas em português. Mercado: o mercado de aplicação dos sistemas TTS está em franca expansão, apesar disso, as vozes geradas em português por essas empresas possuem muitas limitações Organização Este trabalho está organizado da seguinte maneira: O Capítulo 2 apresenta um levantamento do estado da arte da área da síntese de voz, com a utilização do sistema texto-fala baseada em HMMs e as ferramentas de sistema texto-fala, com destaque para o sistema MARY TTS. O Capítulo 3 descreve a estruturação do motor de síntese de voz utilizado no framework FIVE, relatando a sua arquitetura. O Capítulo 4 apresenta a integração com as seguintes etapas realizadas: estudo das ferramentas, treinamento da voz, processo de integração e teste de portabilidade. O Capítulo 5 apresenta as conclusões juntamente com as dificuldades enfrentados durante o seu desenvolvimento, as atividades paralelas e os trabalhos futuros..
16 16 2. SÍNTESE DE VOZ Síntese de voz é o processo de criação da réplica sintética de um sinal de fala para transmitir a informação contida na mensagem de uma máquina para uma pessoa (TABET, 2011). Segundo BARROS (2002), a síntese de voz deve ser vista como um modelo computacional que permite a geração automática da fala, a partir de uma representação simbólica que é fornecido como entrada. Na literatura, existem várias classificações para os sistemas de síntese de voz. LIBERMAN (1994) classifica a síntese de voz quanto ao método utilizado para a produção do sinal sonoro, no qual possui uma construção de sinal que pertence as seguintes categorias: Por concatenação de fala armazenada digitalmente, com modificações na duração e entoação original. Por concatenação de fala armazenada digitalmente, com geração por regra do contorno da frequência fundamental e regas da duração de segmento. Por meio das funções temporais sintéticas para os parâmetros acústicos gerados por regras. Por meio dos modelos simplificados do mecanismo fonador humano, com regras para o controle dos seus parâmetros. Pela modelação realista dos processos fisiológicos e físicos de produção da fala humana, incluindo o controle dinâmico dos articuladores e o fluxo de ar ao longo do trato vocal. Já para SIMÕES (1999), existem diferentes estratégias que podem ser utilizados para a construção dos sistemas que envolvem síntese de voz, essa escolha depende fundamentalmente das características do sistema de voz a ser treinado. Existem duas características importantes na implementação deste treinamento: a qualidade do sinal de fala com aplicações inteligíveis, já outras necessitam que os sinais aproximem o máximo possível da fala natural e o tamanho do vocabulário seja simples com vocabulários fixos e de tamanho reduzido, já no caso dos sistemas de conversão de texto-fala, trabalham com vocabulários bastante extensos (SIMÕES, 1999). Desse modo, SIMÕES (1999) classifica os sistemas seguindo três estratégias: a maneira mais elementar de produzir um sinal de fala é reproduzindo trechos de mensagem pré-gravados. Neste caso para gerar uma sentença é necessário selecionar e reproduzir uma sequência de mensagem previamente armazenada (SIMÕES, 1999).
17 Esse tipo de estratégia possui uma vantagem de ser extremamente simples de implementar. Possuindo como tarefa a seleção da mensagem a ser reproduzida e a boa qualidade de voz gerada por um sinal de fala natural. Sendo utilizada em aplicações mais simples como, por exemplo, um sistema de acesso a saldo bancário. (SIMÕES, 1999) Outra estratégia para a geração de sinais de fala sintetizada é a síntese paramétrica, que possui uma biblioteca de palavras armazenadas na forma parametrizada. Essa parametrização consiste em extrair texto no intervalo de tempo fixo, valores dos parâmetros do trato vocal, bem como o valor de pitch do sinal de fala (SIMÕES, 1999). Por fim, a terceira estratégia utilizada é a conversão automática do texto para fala, a partir de uma mensagem escrita. Esse sistema é extremamente abrangente pelo fato de qualquer tipo de mensagem pode ser sintetizado, além disso, possui uma qualidade de voz sintetizada reduzida, devido ao seu módulo de processamento linguístico não fornece a transcrição fonética correta das palavras de texto. Os sistemas de conversão texto para fala (Text-To-Speech - TTS) são sistemas de informação capaz de gerar voz parecida com a fala humana, através da sintetização de um texto. Segundo SIMÕES (1999) sistemas texto-fala são capazes de gerar fala sintetizada a partir de uma mensagem escrita. A utilização desse sistema é extremamente abrangente, pelo fato de qualquer tipo de mensagem pode ser representado na forma textual e, consequentemente, qualquer tipo de mensagem pode ser sintetizada. O conceito de sistema TTS é constantemente confundido com síntese de voz. Conforme DUTOIT (1997), os sistemas TTS não devem ser confundidos com outras máquinas falantes, tais como sistemas de resposta de voz que geram falas artificiais através da concatenação de palavras isoladas ou parte de sentenças. Esses sistemas estão limitados por um vocabulário de cem palavras e as sentenças são pronunciadas de forma restrita, sendo assim, em sistemas TTS é inviável armazenar todas as palavras que serão ditas, pois a sua função e realizar treinamento de novas sentenças. Segundo GOMES et al. (1998), esses sistemas possuem inúmeras aplicações reais e sua primeira utilização foi vinculada a solução de leitura para cego, onde o programa analisava o texto de um livro e realizava sua conversão para áudio. Inicialmente esses sistemas eram totalmente mecânicos e possuíam suas necessidades relacionadas à leitura de braile e análise do texto em tempo real, com o avanço da tecnologia passaram a realizar interação do homem com a máquina através dos computadores e dispositivos móveis. As aplicações típicas dos sistemas texto-fala que auxiliam os deficientes visuais e os indivíduos 17
18 18 sem capacidade de falar, assim como aplicações relacionadas à leitura de textos literários, possuem resistências por parte dos usuários (GOMES et al.,1998). De acordo com RABINER e SCHAFER (2007) a maior tarefa de um sistema textofala é produzir um sinal de fala com alta inteligibilidade, para que sua síntese seja útil na comunicação entre o homem e a máquina, e a sua naturalidade seja tão perto da voz real. A qualidade da voz é considerada limitada no sistema TTS, apesar do avanço, na maioria das vozes, não é necessário ser especialista para identificar uma voz sintetizada. A definição de naturalidade é bastante ampla e subjetiva (TAYLOR, 2009). Segundo LATSCH (2011) a naturalidade é a capacidade de um sistema produzir a fala sintetizada o mais próximo possível da fala humana. Já a inteligibilidade está relacionada ao sistema ler claramente um texto. De acordo com LATSCH (2011) a inteligibilidade é a capacidade de compreensão do conteúdo linguístico da fala sintetizado, de modo que tenha significado para um falante natural da língua. Já a qualidade da voz é a capacidade do sistema em reproduzir o sinal correspondente aos sons que caracterizam a linguagem falada Arquitetura O sistema TTS utiliza uma arquitetura composta por duas etapas distintas realizada em sequência: a primeira etapa corresponde à análise do texto, que consiste na obtenção fonológica da mensagem a partir de sua forma ortográfica; já a segunda etapa consiste no motor de síntese, que é responsável pela geração do sinal acústico associado à representação fonológica que foi obtida na etapa anterior (SIMÕES, 1999). A Figura 2.1 representa um diagrama funcional de um sistema texto-fala genérico; esse sistema é representado por um módulo de Processamento de Linguagem Natural (PLN) que realizar uma transcrição fonética do texto a ser lido a depender do ritmo desejado, e um módulo de Processamento Digital de Sinais (PDS), que transforma a informação simbólica que recebe em voz próxima ao natural. Os módulos PLN e PDS são, respectivamente, módulos de análise de texto e motor de síntese (COUTO, 2010).
19 19 Figura Diagrama funcional de um Sistema TTS ( MAIA, 2006) Processamento de Linguagem Natural O módulo processamento de linguagem natural ou análise de texto também chamado de front-end é responsável por traduzir o texto de entrada em uma respectiva linguagem de representação fonética, que inclui informações a respeito das unidades acústicas de fonemas e sílabas a serem produzidas, juntamente com características textuais de determinação de tonicidade, indicadores de fronteiras das frases e palavras. Além disso, dependendo da abordagem utilizada para sintetizar a fala, informações a respeito da duração dos modelos acústicos, frequência fundamental (F0) e o contorno das locuções a serem sintetizadas podem também ser requeridas para compor a informação contextual, tornando a tarefa do PLN mais complexa. O PLN possui duas fases de acordo com os procedimentos correspondentes a serem realizados: O pré-processamento e o processamento de texto. A primeira fase o préprocessamento também chamado de normalização de texto é responsável pela conversão dos números, abreviações, siglas, além de outras tarefas, de maneira que sua saída contenha apenas palavras escritas. Segundo SIMÕES (1999), esse pré-processamento consiste em substituir certos elementos do texto por seus equivalentes textos por extenso.
20 20 A segunda fase o processamento de texto é responsável por receber o texto como entrada sem números e abreviações e retornar informações das palavras para o processamento das informações de locução. Neste pré-processamento ocorre à conversão do grafema em fonema (G2P) que atribui transcrição fonética a cada palavra; a silabação que divide as sílabas em unidades menores e a marcação da sílaba tônica que determina a parte da transcrição fonética (COUTO, 2010). As tarefas realizadas neste pré-processamento tendem ao enquadramento dos requisitos técnicos empregados pela síntese de voz para os sistemas de texto-fala. Segundo MAIA (2006), alguns procedimentos do pré-processamento são: Conversão grafema-fonema: transforma cada caractere do texto de entrada em símbolos acústicos de fonemas, de acordo com as regras idiomáticas. Divisão silábica: divide cada palavra em subunidades, que podem ser sílabas, no caso dos idiomas ocidentais. Determinação de tonicidade: atribui níveis de proeminência para sílabas dentro das palavras ou das palavras dentro das frases. Duração: determina, com base em informações linguísticas obtidas até o momento, a duração apropriada para cada unidade acústica. Frequência Fundamental: Descrição do contorno da frequência fundamental F Processamento de Sinal Digital O módulo processamento de sinal digital ou motor de síntese também chamado de back-end é responsável por receber as informações da locação e gerar uma voz sintetizada. Possuindo como entradas para a execução deste módulo as transcrições fonéticas (G2P) e a prosódia fonética com silabação e tonicidade (COUTO, 2010). Esse módulo pode ser dividido em duas subfases. A primeira é responsável pelo processamento das informações de locução e pela geração de um conjunto específico de parâmetros acústicos, com informação prosódica necessária para o sinal de fala, já a segunda é responsável pelo procedimento de melhoria da fala e pelo pós-processamento da voz sintetizada (MAIA, 2006).
21 21 Segundo MAIA (2006), Existe diferentes técnicas que podem ser utilizadas para os sistemas TTS, a partir da geração de informação. As mais usadas hoje em dia são: a técnica baseada em regra que consiste em selecionar um parâmetro a partir de um banco de dados, com regra pré-determinada na geração de voz sintetizada; técnica baseada em concatenação que seleciona a informação da voz, de acordo com as suas características linguísticas e a técnica baseado em HMM que possui um discurso de boa qualidade e realizar modificação em suas características. Já para TAYLOR (2009), essas técnicas de voz são historicamente apresentadas em três gerações: primeira, segunda e terceira geração. A técnica da primeira geração apesar de oferecerem fala inteligível, são limitadas no que concernem ao mapeamento dos parâmetros e a alta complexidade de implementação. As técnicas de primeira geração dominaram a área de síntese até o final dos anos 80, contudo, atualmente, são raramente utilizadas e servem apenas como base para conhecimento histórico. Duas técnicas prevaleceram naquela época: a Síntese por Formantes cujas regras são capazes de determina a frequências de ressonância existente no trato vocal e a Síntese Articulatória cujas regras simulam o trato vocal humano e geram a voz ao produzir ressonância e articulação (TAYLOR, 2009). Já as técnicas da segunda geração supriram essas dificuldades à medida que utilizam dados dos componentes linguísticos para determinar os parâmetros. Especificações compostas por uma sequência de itens contendo a descrição, o valor de frequência fundamental e a duração dos fonemas permitem a geração de voz de forma mais simples e com maior naturalidade (TAYLOR, 2009). As principais técnicas da segunda geração são concatenativa e prosódica formadas pelo algoritmo Pitch Synchronous Overlap and Add (PSOLA) e suas variações em que o maior desafio passou a ser a definição do tamanho das unidades fonéticas. A partir do trabalho inicial de TOKUDA et al.(1995) que utilizou os Modelos Ocultos de Markov para síntese de voz, uma nova geração de sintetizadores foi criada, a terceira geração. As técnicas de síntese de terceira geração são baseadas em HMMs e estão sendo constantemente utilizadas para a geração da voz. Em 2006, foi apresentada a aplicação de MAIA (2006) com uma abordagem para o idioma português do Brasil; já em 2010 os trabalhos baseados em HMM de COUTO (2010) com sistema TTS stand-alone para o português do Brasil, puramente na plataforma Java, no qual possuía uma integração com outros sistemas e o de SOUZA (2010) com o desenvolvimento de um sintetizador de fala para o idioma português, baseado em HMM; por fim em 2012 o trabalho de COSTA et al.( 2012) um sintetizador de voz baseado em HMMs Livre.
22 Síntese Baseada em HMM Os sintetizadores baseado em modelos escondidos de Markov (HMMs) estão sendo bastante utilizados, devido à possibilidade de obter uma fala de boa qualidade em bases de dados pequenas e pela característica da sua voz pode ser facilmente modificada. Os métodos utilizados pelos sintetizadores baseada em HMM são formados pelos parâmetros espectrais, como por exemplo, coeficientes de predição linear ou linhas de frequência espectral; juntamente com os parâmetros de excitação, como o F0 que são gerados a partir de uma sequência de modelos acústicos por maximização, entre outros fatores, da probabilidade de saída de uma sequência de observações. Esses parâmetros são eventualmente usados para construir fala sintetizada de acordo com o modelo de filtro-origem para produção de fala (TOKUDA et al., 2000) A Figura 2.2 apresenta a estruturação do sistema baseado em HMM. Figura 2.2 Estruturação do sistema baseado em HMM (TOKUDA et al., 2000). Uma das vantagens para utilizar o modelo escondido de Markov e que sua parte de síntese é consolidada por um processo treinável, sendo mais flexível que a abordagem concatenativa. Além disso, essa flexibilidade implica na possibilidade de realizar alterações da sua voz sem recorrer a grande base de dados. De acordo com MAIA et al. (2003), outra vantagem seria a obtenção de voz com uma base de dados reduzida, ou seja, em torno de oitenta sentenças. Essa técnica é dividida em duas etapas: a parte de treinamento e síntese.
23 Treinamento Segundo TOKUDA et al.(1995) o módulo de treinamento é um conjunto de HMMs derivado da amostra de áudio, com uma locução que possui sua informação correspondente. Esse módulo divide-se em três fases: extração dos parâmetros acústicos, geração dos rótulos contextuais e treinamento dos HMMs. Parâmetros acústicos: A extração dos parâmetros acústicos utilizam ferramentas de processamento de sinais para retirar informações do som. Esses parâmetros possuem diversas características, porém, as mais utilizadas são a frequência fundamental, pitch, os coeficientes Mel-cepstrais (MFCC) e parâmetros não periódicos. Rótulos contextuais: esta etapa utiliza as informações sobre a sentença, que são passadas pelo módulo de análise de texto que realizam a conversão grafema-fonema, silabação, determinação da sílaba tônica e etiquetagem gramatical para criar os rótulos contextuais. Tais rótulos captarão todas estas relações em torno do fonema e servão para realizar uma reprodução mais natural da prosódia Treinamentos das HMMs: Durante a etapa de treinamento é utilizada uma técnica chamada de agrupamento por contexto. Nela os streams de MFCC, F0, parâmetros não periódicos e modelos de duração são separadas de acordo com as informações captadas pelos rótulos contextuais. Com esses streams das HMMs treinados ocorrerá posteriormente uma seleção no processo de síntese Síntese De acordo com TOKUDA et al. (1995), o módulo de síntese é o momento onde ocorre a geração da fala sintetizada a partir de um texto de entrada, esse módulo divide-se nas seguintes fases: em geração de rótulos fonéticos, seleção e concatenação das HMMs, determinação dos parâmetros e construção da excitação e filtragem. Seleção e concatenação das HMM: na síntese, estes rótulos são usados para selecionar as etapas criadas durante o treinamento, no qual serão utilizadas para sintetizar o texto de entrada. Geração dos rótulos contextuais: o processo de síntese utiliza a conversão das informações sobre as sentenças dos rótulos contextuais, da mesma forma que aconteceu no seu treino.
24 24 Determinação dos parâmetros: Na geração dos parâmetros acústicos são utilizadas as HMMs de duração. Após isto, os coeficientes mel-cepstrais, logaritmos de frequência fundamental e coeficientes não periódicos são determinados a partir de cada HMM correspondente, para realizar a maximização da probabilidade de saída. Geração da excitação e filtro de síntese: a última fronteira que falta para realizar a síntese é utilizar os parâmetros obtidos na etapa de treinamento para produzir o sinal de voz. Essa construção é formada pelas seguintes partes. A primeira parte corresponde a geração de excitação que utiliza os logaritmos da frequência fundamental e os coeficientes não periódicos com um método de vocoding de alta-qualidade e a segunda parte corresponde a utilização do filtro de síntese MLSA (Mel Log Spectrum Approximation) (FUKADA et al.,1992) Requisitos de um Sistema TTS em Português do Brasil O sistema texto para fala em português do Brasil possui uma lista de requisito que permite definir as características específicas da síntese de voz baseado em HMM (MAIA, 2006). Esse sistema possui os seguintes aspectos: Geração de Informação Esse sintetizador é formado pela geração de informação necessária para o reconhecimento básico de texto, no qual executa o sistema a fim de gerar uma fala sintetizada. Como mostrada na Tabela 2.1 a geração de informação da frase leila tem um lindo jardim. A formação da informação é composta pelas seguintes partes: Parte das fonéticas com os seus símbolos; Parte da sílaba com a transcrição silábica e indicação de stress; Parte da palavra com a transcrição da palavra e tag POS. As informações de expressão são obtidas pelo módulo processamento de linguagem natural (PLN). Sendo esse módulo necessário para executar os seguintes procedimentos: conversão grafema-fonema; silabação; a determinação de stress e POS.
25 25 Fonética Sílaba Palavra Sil l e j l a t e ~ j u ~ l i ~ d u z a X d i ~ sil lej la te ~ j u ~ li ~ du zax di ~ Lejla te ~ j u ~ li ~ du ~ ZaXdi ~ Conjunto de Fonéticas Tabela Geração de informação (MAIA, 2006). O sintetizado utiliza um conjunto de fonéticas que são mostrados na Tabela 2.2, representados com o uso do SAMPA (Speech Assessment Methods Phonetic Alphabet) (WELLS et al., 1997). Phone a E e i O o u Vogais Orais Exemplos Jatobá, capacete é. pajé capacete, resolver justiça, país opío,jogos jogo, golfinho raul, culpa Tabela Conjunto de fonética SAMPA (MAIA, 2006).
26 Sistemas TTS em Português do Brasil As ferramentas do sistema texto-fala são utilizadas para realizar o treinamento das vozes no idioma português do Brasil. Essa linguagem possui diversos projetos que utilizam ferramentas de sintetização. Na década de 90, surgiu o primeiro projeto relacionado a sistema texto-fala MBROLA, no qual foi desenvolvido pela faculdade politécnica de Mons. Esse motor possui como objetivo a criação de um sintetizador de boa qualidade com técnica concatenativa e aplicações em diversas línguas, inclusive no português (DUTOIT et al.,1996). O sistema Liane TTS desenvolvido pela Universidade Federal do Rio de Janeiro (UFRJ) possui um suporte para produzir a síntese de voz no português do Brasil e realiza o processamento de síntese de voz no sistema MBROLA (LIANETTS, 2014). O sistema FurbSpeech foi desenvolvido pela Faculdade de Blumenau e possui uma API baseada em Java que converte texto em fala português. Além disso, contêm um sistema MBROLA no back-end para fornecer a conversão de notação fonética para arquivo de mídia em formato WAV (FURBSPEECH,2014). O sistema Festival TTS é um software livre de síntese de voz que funciona em várias plataformas de desenvolvimento, com um suporte para a síntese baseada em HMM. Possuindo assim, uma arquitetura voltada para um framework integrado que não contêm TTS Stand-alone (FESTIVAL 2014). O Free TTS é um sistema de síntese de voz desenvolvido na linguagem de programação Java sendo baseado no motor FLITE da CMU. Esse FLITE é um motor de síntese de voz derivado do Festival (WALKER; LAMERE; KWOK, 2002). Em 2002, surgiu um sintetizador de voz baseado em HMM com um motor HTS que possui um algoritmo de maximização dos parâmetros. Parte do motor HTS, o HTS_Engine é um software que sintetiza ondas de fala em HMMs treinado pelo HTS. Esse motor não inclui qualquer analisador de texto, porém o sistema, MARY TTS ou outro analisador podem ser utilizados como HTS. Esse HTS e HTS engine foram desenvolvidos em C, já no sistema MARY TTS o HTS engine foi modificado para Java (SCHRÖDER et al., 2008). Esses sistemas descritos proporcionam orientações para criação de uma nova voz, na maioria dos casos, espera-se um conhecimento básico do sistema TTS e processamento de fala, sendo assim, para melhorar a qualidade dessa voz, surgiu o sistema MARY TTS que possui como diferencial uma ferramenta com interface do usuário, no qual, facilita a criação e o treinamento da voz sintética (SCHRÖDER; TROUVAIN, 2003).
27 Sistema MARY TTS MARY é uma plataforma contendo um sistema texto-fala, construída com a colaboração do centro de pesquisas Alemão para inteligência artificial e pelo instituto de fonética da universidade de Saarand. Segundo SCHRÖDER e TROUVAIN (2003), MARY significa "modular arquitetura para pesquisa sobre a síntese de voz" e é um framework de código aberto para sistema texto-fala desenvolvido em Java. Como indicado pelo nome, MARY é considerado altamente modular com um foco especial na acessibilidade das etapas de processamento intermediárias da síntese de voz com suporte para várias linguagens e plataformas. Esse framework possui um suporte para as linguagens alemão, inglês, japonês, tibetano, russo e italiano, e permite a inclusão e criação de novas linguagens com uma representação baseada em linguagem XML. Além disso, possui suporte para as plataformas Windows, Linux, Mac OS e Solaries (SCHRÖDER; TROUVAIN, 2003). A primeira versão do MARY foi lançada em 2002, porém a primeira versão de código aberto foi lançada em 2006 a MARY Já em 2007 foi lançada a versão MARY com suporte para as plataformas Linux e Windows e para a língua inglesa e alemã. Em seguida foi lançada a versão MARY com a integração da síntese baseado em HMM e a versão MARY com o surgimento da ferramenta Voice Import para a criação da voz. Em 2009 foi lançada a versão MARY 4.0, possuindo uma grande modificação na organização do seu código, além da integração das ferramentas para adiciona novos idiomas e suporte para sua própria voz, já em 2010 foi lançado à versão MARY 4.1 com funcionalidade de prosódia para vozes baseada em HMM e a versão MARY 4.3 com novas vocalizações expressivas, por fim em 2012 surgiu o MARYTTS 5.0 possuindo um código totalmente reestruturado e um suporte de teste automatizado. A arquitetura do MARY TTS é explicada de duas formas: Do ponto de visto do processamento de linguagem natural e do ponto de visto teórico. Conforme SCHRÖDER e TROUVAIN (2003), a arquitetura do processamento de linguagem natural possui quatro partes: 1. O pré-processamento ou normalização do texto que realiza a expansão de abreviatura e numeral; 2. O processamento de linguagem natural que realiza a análise linguística; 3. O cálculo dos parâmetros acústicos, aplicado ao módulo de entonação de voz;
28 28 4. O sintetizador de voz que cria um arquivo de som a partir de uma sequência de fonemas. Já a arquitetura técnica é considerada do tipo cliente-servidor, Sendo assim, esse sistema é formada por um servidor principal que faz pedidos para o servidor executa alguma tarefa e recebe o resultado do processamento do cliente. Um servidor pode suportar várias línguas e espera pedidos dos clientes em uma porta especificada pelo usuário. Segundo PAMMI; CHARFUELAN; SCHRÖDER, (2010) o MARY TTS utiliza duas ferramentas com interfaces gráficas (GUIs) para a criação de uma voz sintetizada. A ferramenta Transcription Tool que realiza o processamento de texto, sendo necessário um arquivo de alofones em português e uma lista de palavras do dicionário português para inicia a sua execução e a ferramenta Voice Import que realiza o treinamento do corpus de voz com sua correspondente transcrição ortográfica (COUTO, 2010).
29 29 3. FRAMEWORK FIVE O FIVE (Framework for an Integrated Voice Environment) é um framework construído com o objetivo de auxiliar o desenvolvimento integrado de aplicações com interfaces de voz. Sendo possível gerar motores de síntese de voz, de reconhecimento de fala e de verificação de locutor e, por meio de uma API (Application Programming Interface) própria, instanciar estes motores em aplicações desenvolvidas em múltiplas plataformas (MACIEL e CARVALHO, 2010). Esse framework foi desenvolvido através da linguagem de programação Java, utilizando o modelo de divisão de responsabilidades MVC (Model-View-Controller) (GAMMA et al.,1994). A escolha dessas tecnologias ocorreu devido aos requisitos de portabilidade e de expansibilidade propostos pelo framework e a utilização do banco de dados orientado a objetos Neodotis que permite o armazenamento de objetos nativos de forma extremamente rápida, visto que não há necessidade de conexão (NEODATIS, 2013). Os requisitos utilizados na construção do FIVE levam em consideração uma pesquisa realizada junto à comunidade acadêmica da área de processamento de voz em (MACIEL, 2012). Segundo esta pesquisa, os especialistas consultados mencionaram que os requisitos essenciais para a utilização de uma ferramenta produtiva que auxilie o desenvolvimento de aplicação com interface baseada em voz são: rápida curva de aprendizagem, portabilidade entre ambientes computacionais, e capacidade de extensão para as técnicas de extração de características e de classificação de padrões. Desenvolvido como parte da tese de doutorado intitulada Investigação de um ambiente para o desenvolvimento integrado de interface de voz (MACIEL, 2012), o FIVE é um software livre, registrado no Instituto Nacional de Propriedade Intelectual do Brasil (INPI), com os direitos autorais pertencentes à Universidade Federal de Pernambuco. A ideia dos mantenedores do FIVE é criar uma grande rede de colaboração para que a comunidade acadêmica possa ajudar no aperfeiçoamento e no desenvolvimento de melhorias para a ferramenta Arquitetura A arquitetura geral do FIVE foi estruturada em forma independente, baseada em cinco módulos. Os módulos básicos representam três áreas de processamento da fala: motor
30 30 de reconhecimento automático de fala (ASR), motor texto-fala (TTS) e o motor de verificação automática de fala (ASV). O módulo intermediário chamado de aplicação com interface de programação (API) consiste em um conjunto de recursos necessários para comunicar os módulos de base com a aplicação do módulo (APP). O módulo APP consiste em uma abstração da eventual aplicação que podem ser desenvolvidos usando esta arquitetura (MACIEL e CARVALHO, 2010). A Figura 3.1 mostra os módulos da arquitetura geral do FIVE Motor de Síntese Figura Módulos da arquitetura do FIVE (MACIEL e CARVALHO, 2010). O motor de síntese de voz foi desenvolvido como validação da tese de doutorado de MACIEL (2012) com proposta de avaliar a qualidade da voz sintética produzida pelo FIVE. Para a validação dos motores de síntese voz foi realizado um experimento em duas etapas: a primeira consistiu no treinamento para obtenção dos modelos acústicos de duas corpóreas de voz masculina e feminina, e a segunda consistiu numa pesquisa de opinião para avaliar a qualidade dessas vozes. O processo de avaliação proposto por MACIEL (2012) foi realizado por 30 voluntários que avaliaram 30 frases foneticamente balanceadas com quantidade de palavras variadas, interrogativas e afirmativas. Estas frases foram sintetizadas com as vozes masculina e feminina baseadas nos modelos de difones do Mbrola (MBROLA, 2014); nos modelos acústicos obtidos com o FIVE e no sintetizador comercial da Loquendo (LOQUENDO, 2014). Dando sequência a essa avaliação foi realizado de forma bem sucedida à integração de um sistema TTS baseado em HMM para o FIVE, com uma abordagem para a construção de uma voz sintética de maior qualidade, utilizando a sua característica extensibilidade e mantendo sua portabilidade característica (MACIEL e CARVALHO, 2012).
31 31 Essa avaliação iniciou com um cadastro do perfil dos entrevistados e o seu nível de percepção, para assim, realizar a transcrição das amostras de áudio; o segundo passo dessa avaliação ocorreu com a solicitação aos entrevistados que ouvissem uma sequência de áudios, transcrevessem o conteúdo e avaliassem a qualidade segundo três critérios de qualidade: volume, dicção e pontuação. Quanto aos resultados das transcrições das amostras de áudio os resultados foram obtidos separadamente. Primeiro avaliou-se o percentual de frases acertadas, de modo que todas as palavras contidas na frase foram transcritas exatamente como no texto original. Em seguida foi obtido o percentual de palavras inseridas nessas frases que foram transcritas corretamente (MACIEL e CARVALHO, 2012). Como relação à qualidade das vozes geradas nesta avaliação, percebemos que as vozes geradas pelo Loquendo possui uma melhor percepção de volume em relação às vozes geradas pelo FIVE. Quanto à dicção e a pontuação, percebamos que as vozes baseadas no FIVE apresentaram uma inteligibilidade média; já os resultados obtidos na transcrição das frases foram bastante insatisfatórios para todas as vozes. Por fim os resultados das palavras transcritas com sucesso foram bastante promissores. Mesmo as vozes baseadas no Mbrola que possuíam uma baixa qualidade, conseguiu uma transcrição melhor (MACIEL e CARVALHO, 2012) Criação do Motor A criação do motor de síntese do FIVE é composta de três ações: extração de características, classificação de padrões e agrupamento dos artefatos. O processo de extração de características é realizado em dois passos. O primeiro compreende uma funcionalidade de cadastro usada para manipular os registros das extrações e o segundo corresponde a escolha da técnica HTK. O processo de classificação de padrões consiste em três passos. O primeiro compreende uma funcionalidade de cadastro usada para manipular os registros das classificações, o segundo corresponde a escolha da técnica HMM baseado na biblioteca do HTK e o terceiro passo compreende as funcionalidades de avaliação dos resultados. Finalizada a etapa de classificação de padrões, onde os modelos acústicos foram gerados e testados com sucesso, realiza-se o agrupamento dos artefatos. Por fim ocorre a geração do motor de síntese.
32 Instanciação do Motor Visando avaliar a instanciação dos motores de fala foram desenvolvidas três aplicações com interface de voz em ambientes tecnológicos distintos em MACIEL (2012): telefônico, dispositivos móveis e TV digital. Para minimizar o estudo das tecnologias que dão suporte a esses ambientes, optou-se pela implementação de aplicação com escopo reduzido, de modo que, tornar-se possível a instanciação da API no FIVE. Diante desse cenário, a API do FIVE foi elaborada seguindo uma linha de Comunicação para a instanciação da síntese de voz A Tabela 3.1 apresenta uma breve descrição da classe criada para a API. Tabela Funções de síntese implementadas pela API (MACIEL, 2012). A utilização da API numa aplicação, ou seja, o processo de instanciação de um motor consiste fundamentalmente em fazer a comunicação entre a aplicação e o recurso do motor gerado pelo FIVE utilizando para isso as funções da API. A Figura 3.2 apresenta um exemplo da instanciação da síntese. Figura Código-fonte para instanciação de um sintetizador (MACIEL, 2012).
33 33 4. INTEGRAÇÃO Diante dos bons resultados obtidos no FIVE e pela sua característica de extensibilidade, foi escolhida a versão do Framework MARY TTS para realizar essa integração, pelo fato de possui duas ferramentas com interface gráfica que facilitam a criação e o treinamento da voz. A integração do sistema texto-fala do MARYTTS ao FIVE foi realizada no ambiente Linux com a integração da ferramenta Transcription Tool do MARY TTS que utilizou um dicionário com dez mil palavras em português disponibilizado por (MACIEL, 2012). Em seguida, ocorreu a integração da ferramenta Voice Import para realizar a preparação e o treinamento do corpus de voz com um discurso transcrito pelos vocais feminino e masculino que possui 764 arquivos de áudio foneticamente balanceado, oferecendo cerca de duas horas de áudio disponibilizado por (MACIEL, 2012). Por fim, ocorreu a realização do teste de portabilidade das vozes geradas pela ferramenta Voice Import, possuindo como resultado os vocais sintetizados em português com a especificação das vozes masculina e feminina Estudo das Ferramentas Na fase de estudo, foram identificadas duas ferramentas importantes no MARY TTS para realizar a sintetização da voz: Transcription Tool e Voice Import. A ferramenta Transcription Tool realiza a transcrição de texto, com especificações exclusivas para a voz português do Brasil, através do conjunto de alfabeto, entonação e fonemas. Essa ferramenta necessita dos arquivos em texto contendo as palavras do dicionário em português, para iniciar a sua transcrição (CHARFUELAN, 2014). A interface e mostrada na Figura 4.1. Já a ferramenta Voice Import realiza a preparação e o treinamento de novas vozes, e possui as seguintes características: extração de dados acústicos, extração de recurso de texto, rotulagem automática e construção da voz baseada em HMM. Essa ferramenta necessita dos arquivos correspondentes à transcrição do seu alfabeto para realizar a reparação e uma corpórea de voz no formato WAV com o seu respectivo discurso transcrito no formato texto, para iniciar o seu treinamento (CHARFUELAN, 2014). A interface e mostrada na Figura 4.2.
34 34 Figura 4.1 Interface do Transcription GUI (MARY, 2014). Figura 4.2 Interface do Voice Import (MARY, 2014).
35 Treinamento da Voz Para realizar o treinamento da voz é necessário seguir os procedimentos das ferramentas de síntese de voz do MARY TTS. De acordo com CHARFUELAN (2014) esse treinamento ocorre em duas etapas. Na primeira etapa é iniciada a construção do suporte para o português do Brasil, que realiza a transcrição das palavras em sentenças sintetizadas e a segunda etapa ocorre o treinamento da voz com os modelos HMMs. Dessa forma o primeiro método será responsável pela organização do módulo de análise de texto e o segundo método pela geração do motor de síntese Suporte Para o Português do Brasil O fluxograma para a elaboração do suporte da língua portuguesa e mostrado na Figura 4.3. Nesta etapa, utiliza o software Transcription Tool com a função de criar arquivos para tratar requisições especifica do idioma português, como, silabação, conversão grafenafonema e sílaba tônica. Figura 4.3 Diagrama funcional para criação do suporte adaptado ( MARY, 2014). Os dois arquivos no topo do fluxograma são o alfabeto fonético (allophones.pt_br.xml) e a lista de palavras (pt_br.dic) com as suas respectivas transcrições. O primeiro arquivo é constituído do alfabeto fonético em português, com um conjunto específico de fonema sendo traduzido em vários parâmetros como diferenciação de vogal e
36 36 consoante e a posição da língua na hora da pronúncia, Sendo assim, no dicionário fonético, além do fonema, existem as características específicas de cada língua. Esse arquivo pose ser visualizado no ANEXO A (COUTO, 2010). A segunda entrada para o Transcription Tool foi o arquivo (pt_br_five.dic), com uma lista de transcrições fonéticas com dez mil palavras disponíveis em MACIEL(2012). Essas palavras serão transcritas por meio de treinamento com árvore de regressão que gera um conversor grafena-fonema na forma de um transdutor finito de estado (KORNAL, 1999). Um exemplo da lista de entrada pode ser visto na Tabela 4.1. Palavra abacate abriu barraca casa Transcrição a-ba-`ka-tsi a-`briw Ba-`Ra-ka `ka-za Tabela Tabela com as transcrições. Segundo KORNAL (1999), transdutores finitos de estado são máquinas de estado finito que permitem produzir saídas, através das entradas previamente apresentadas. Sendo assim, as entradas são as transcrições definida pelo usuário. Além do conversor grafema-fonema, a ferramenta Transcription Tool gera componentes básicos para o módulo PLN, pois esses arquivos são capazes de fazer a conversão grafema-fonema e realiza uma etiquetagem rudimentar. Essa etiquetagem indica que a palavra foi transcrita anteriormente. A lista de arquivos para o módulo PLN: pt_br_five_lexicos.fsr - transdutor finito de estado que realiza a conversão grafemafonema das palavras. pt_br_five_pos.fst - transdutor finito de estados responsável pela etiquetagem rudimentar. pt_br_five_lexicon.dict - lista com as palavras passadas pelo usuário. Após a criação destes arquivos, é necessário copiá-los para os locais específicos dentro dos diretórios de instalação do Transcription Tool. Estes caminhos devem ser especificados dentro do arquivo de configuração pt_br.config que será executado quando a ferramenta Voice Import estive em execução.
37 Construção do Modelo de Voz Para realizar a construção do modelo de voz é necessário adapta o modelo com as HMMs que serão responsáveis pela síntese; essa construção é dividida em duas partes: ajuste do motor de síntese e criação da voz. A primeira parte será avaliada quantos e quais são os fonemas a serem utilizados, quais modelos de HMM farão a síntese e quais arquivos de áudio serão usados no treino. A segunda parte realiza a execução dos algoritmos e rotinas de treinamento de HMMs. Assim como na parte de preparação do suporte para o idioma português do Brasil, esse estágio possui a ferramenta Voice Import para auxiliar a construção da voz. Essa ferramenta foi desenvolvida por CHARFUELAN (2014) e realiza a preparação de um motor de síntese de voz baseado em HMM. Os procedimentos para executa o Voice Import são mais complexos, pois utilizam uma interface para a manipulação dos programas típicos da síntese de voz e HMMs que não são simples de entende. Portanto um conhecimento mínimo sobre a construção da voz é requisito para utilizar essa ferramenta. Sendo assim, a ferramenta Voice Import realiza a execução de um conjunto de componentes que facilitam o processo de criação das vozes, ou seja, utiliza o encapsulamento de vários comandos numa interface gráfica do usuário. Os componentes exigidos para a execução do processo podem ser classificados em dois grupos: preparação dos dados e treinamento das HMMs Preparação dos Dados Na preparação dos dados são analisadas algumas rotinas. Segundo CHARFUELAN (2014) essas rotinas realizam a definição das características que serão utilizadas neste modelo, com a instalação das ferramentas HTS, HTK, SPTK e HTS engine utilizada pelo Voice Import, além da certificação dos caminhos necessários para os arquivos de texto e áudio. Módulo Festvox2MARYTranscriptions Este módulo realiza a conversão textual do projeto Festival para o formato MARY. Segundo CHARFUELAN (2014), o módulo Festvox2MARYTranscriptions utiliza a transcrição do formato festival (txt.done.data) para o formato MARY, que contem
38 transcrições separadas por sentença, no qual e criando um arquivo texto (arquivo_xx.txt) correspondente para cada arquivo de áudio( arquivo_xx.wav). 38 Módulo HMMVoiceDataPreparation Este módulo realiza a configuração do ambiente para criação da voz, analisa os caminhos dos arquivos de áudio e texto e verifica os programas externos instalados. De acordo com CHARFUELAN (2014) O módulo HMMVoiceDataPreparation analisa a dependência dos programas externos para a realização das rotinas de treinamento e síntese, por exemplo, o Praat para a determinação do pitch, EHMM para o etiquetamento dos módulos fonéticos, HTS para o treinamento dos modelos HMMs. Módulo AllophonesExtractos Este módulo realiza a conversão do grafema-fonema no transdutor finito de estado, que extraem os fones dos arquivos de áudio e textos, a partir da execução do sistema textofala (CHARFUELAN, 2014). Sendo considerada uma etapa importante para as etapas posterior, assim como para a qualidade da voz gerada. Caso o AllophonesExtractos não realize a conversão correta do grafema-fonema, será impossível ocorre a rotulagem automática e o alinhamento forçado das palavras, além da possibilidade de gerar palavras não correspondentes no treinamento das HMMs. Módulo EHMMLabeller Este módulo realiza a rotulagem dos arquivos com ajuda dos arquivos de áudios e das suas respectivas transcrições; sendo dessa forma realizado a segmentação dos fonemas de forma precisa. Segundo PAMMI; CHARFUELAN; SCHRODER, (2010) a eficiência neste processo é fundamental para produzir uma voz de boa qualidade. Para executar esse módulo e necessário utiliza os componentes do EHMM, que realiza o alinhamento forçada entre os fonemas; dependendo do tamanho da base de áudio esse processo pode demorar várias horas.
39 39 Módulo LabelPauseDeleter Esse módulo analisa os possíveis problemas com os arquivos criados pelo EHMM e verifica o tempo de execução dos componentes gerados para a construção da voz Módulo TranscriptionAligner Este módulo cria arquivos no formato XML, que contém textos com informação sobre transcrições, divisão silábica, sílaba tônica e duração, sendo esses arquivos utilizados nas etapas seguintes. Módulo PhoneUnitLabelComputer Este módulo converte os arquivos de rotulagem gerados pelo HMM para o formato utilizado no MARY. Módulo FeatureSelection Este módulo oferece característica de naturalidade da voz que podem ser utilizados na construção da voz. Segundo COUTO (2010) a voz sintetizada de um sistema texto-fala não pode soar natural sem um tratamento das variações dos sons e pausa desta fala. Módulo PhoneUnitFeatureComputer Este módulo realiza a extração dos vetores de características para as sequências da transcrição de cada fonema. De acordo com COUTO (2010) ocorre a aplicação do processo de determinação da sílaba tônica e a busca das características distintas de cada fonema. Esses aspectos mencionados são considerados as representações fonéticas com altura da voz, tipos de vogais e contextuais com a forma anterior e o próximo fonema, sendo úteis no treinamento das HMMs de duração, nos modelos das árvores de classificação e na geração de parâmetros acústicos (CHARFUELAN, 2014).
40 40 Módulo PhoneLabelFeatureAligner Este módulo realiza o alinhamento dos rótulos e vetores, no qual ocorre a comparação entre os arquivos phonefeatures e phonelabels. Caso não estejam alinhados, acusa um problema de alinhamento Treinamento dos HMMS Para a criação das vozes baseado em HMM na ferramenta Voice Import são utilizados os scripts de treinamento disponíveis no HTS (ZEN et al.,2007), esses scripts foram modificados na parte do analisador de texto e na parte da magnitude do sinal para realizar o treinamento das vozes. Dessa forma, os códigos foram configurados para a realização do treinamento da voz. Módulo HMMVoiceConfigure Este módulo realiza a verificação dos arquivos de áudio e suas respectivas transcrições fonéticas, pois devem estar nos formatos apropriados. Alguns parâmetros podem ser definidos na Tabela 4.2. Parâmetro Valor HMMVoiceConfigure.dataSet cid HMMVoiceConfigure.speaker Five_cid HMMVoiceConfigure.loweF0 40 ( male=40, female = 80) HMMVoiceConfigure.upperF0 280 ( male=280, female =350) Tabela Tabela com os parâmetros de configuração do HMM. Módulo HMMFeatureSelection Este módulo utiliza as características para realizar a captura da prosódia da voz. Além disso, é uma alternativa para inserção de outras features, sendo assim, necessário o treinamento das HMMs.
41 41 Módulo HMMVoiceMakeData Este módulo realiza a modelagem dos componentes necessários para a criação da voz. Segundo COUTO (2010) as cadeias de Markov não são treinadas com sinal de áudio, ao invés disso, uma série de parâmetros com coeficientes cepstrais, frequência fundamental, variância global que são extraídos da fala. Módulo HMMVoiceMAkeVoice Este módulo realiza o treinamento das HMMs referentes a cada fonema do alfabeto fonético. De acordo com CHARFUELAN (2014) esse módulo possui um componente específico que pode ser modificado no processo de treinamento, isso e equivalente ao que ocorre no script original do HTS. Este componente gera informações gerais sobre a execução das etapas de treinamento. Módulo HMMVoiceInstaller Este último módulo realiza a instalação dos arquivos que foram gerados pelos componentes anteriores, sendo assim, gerado um arquivo de configuração e os arquivos HMM correspondente a geração da voz mostrado na Figura Por fim um módulo de processamento de linguagem natural inicia a análise do texto, em seguida as HMMs serão selecionadas e concatenadas, gerando assim a voz sintetizada. Figura 4.4 Diagrama funcional da construção da voz adaptado (MARY, 2014).
42 Processo de Integração Para realizar o processo de integração foram transferidas as classes do HTS Engine do MARY TTS para o pacote FIVE CORE, sendo essas classes compactadas no arquivo HTSengine.jar que possui como classe principal o HTSEngineTest. A estruturação dessa classe e mostrada na Tabela 4.3. HTS Engine CartTreeSet Árvore de decisão utilizada na síntese de HMM. GVModelSet HMMData HTSEngineTest Conjunto de variação média global e frequência fundamental, mel-cepstrum, pontos fortes expressando e magnitudes de Fourier. Os arquivos de configuração e variáveis globais para motor HTS. Várias funções para a execução do hts Engine HTSModel Modelo de HMM para um determinado allophone. HTSParameterGeneration Parâmetro com geração de HMMs treinados. HTSPStream Tipo de dados e procedimentos utilizados no parâmetro de geração HTSUttModel Lista de objetos com modelo atual. HTSVocoder Síntese do discurso e parâmetros de voz. PhoneTranslator Tradução de allophone usados em HTS-HTK Tabela 4.3 Estruturação das classes do HTS engine.
43 43 Essa integração foi instanciada no Synthesizes do FIVE API, nesta parte não foi necessário realizar nenhuma mudança, já no FIVE CORE foram restruturadas as classes do HTS engine do MARYTTS para realizar a classificação dos parâmetros. A Figura 4.5 apresenta a estruturação pacotes do FIVE 4.4. Teste de Portabilidade Figura 4.5 Estruturação dos pacote do FIVE. O teste de portabilidade foi iniciado com a execução do emulador SDK do Android, sendo necessária instância o FIVE API e instala o ADT Bundle do Android, para assim começa o desenvolvimento dessa aplicação. O estágio de desenvolvimento dessa portabilidade envolve apenas uma classe Activity, que cuida da criação de uma janela para lugar da interface do usuário através de uma ContentView e mostrado na Figura 4.6. Mais detalhes da portabilidade no APÊNDICE A.
44 44 Figura 4.6 Teste de portabilidade no emulador do Android. Para realizar o teste de portabilidade no dispositivo móvel foi utilizado o Smartphone Nexus4 E960. Caso deseja inicia o teste deve executar a aplicação FIVE no Nexus 4 (Figura 4.7), inserir o texto e o tipo de voice e clicar no speak para escuta a voz sintetizada (SOUSA; SATURNINO e MACIEL, 2014). Figura 4.7 Teste de portabilidade no dispositivo móvel Nexus 4.
45 45 5. CONSIDERAÇÕES FINAIS Diante da relação do homem com o computador, através da interface do usuário iniciou o interesse do homem pelo mecanismo de fala e o surgimento dos primeiros sintetizadores mecânicos; com o avanço da tecnologia digital surgiram os sintetizadores de voz que reproduzem fala dos seres humanos e realizam transcrição de texto através do processo de síntese de voz. Apesar do avanço na área de síntese de voz nas últimas décadas, as vozes sintéticas para o idioma português falado no Brasil não conseguiram atingir o mesmo desempenho de inteligibilidade e naturalidade da voz quando comparada com outros idiomas. Esse desempenho inferior está relacionado aos seguintes fatores: a tecnologia para geração de voz requerem avanços específicos para melhorar o desempenho dos sintetizadores e as ferramentas dos sistemas TTS do português do Brasil que necessitam melhorar o desempenho da sua voz. Sendo assim, surgiu a ferramenta de interface de voz FIVE, que foi desenvolvida pela Universidade Federal de Pernambuco com o objetivo de desenvolver de forma contínua aplicações com interface de voz. Especificamente para a área de síntese de voz vários trabalhos foram realizados para a construção e instanciação de motores, mas os desafios ainda permeiam a pesquisa com esta ferramenta. Essa pesquisa propôs a integração do sistema texto-fala do MARYTTS ao FIVE, com a realização da integração dos recursos de síntese baseada em HMM do MARY para o FIVE. Como forma de validar a integração das ferramentas de síntese de voz do MARY foi realizada o treinamento da voz sintética, através da seleção de dois locutores profissionais com 800 sentenças foneticamente balanceadas e a realização de um teste de portabilidade dos recursos integrados. Os resultados obtidos com a integração do sistema texto-fala do MARY ao FIVE foram satisfatórios com a realização do treinamento dos vocais de forma mais ágil, geração de voz mais otimizada e a realização do teste de portabilidade na plataforma Android o que contribuiu fortemente para a redução do tempo do seu treinamento, para a geração da voz sintetizada com uma melhor naturalidade e inteligibilidade e para a solução do problema de portabilidade existente no framework FIVE.
46 Dificuldades Encontradas No início do projeto foi utilizado o sistema operacional Windows para realizar o treinamento da voz, porém na execução da ferramenta Voice Import foi percebido a necessidade de instalação dos arquivos que era executado apenas no Linux, sendo assim, ocorreu a mudança para o sistema operacional Linux. Na fase final dos treinamentos foi observado um problema na ferramenta Voice Import com a finalização do seu treinamento, no qual possuía um limite da sua quantidade da base de dados, sendo assim, percebido um problema na versão MARY que estava sendo utilizada, com isso foi escolhida uma versão mais recente que possuía a correção desse problema, a MARY Além disso, foi encontrado dificuldade para retirar o HTS engine utilizado pelo MARYTTS, pelo fato de possui uma integração projetada exclusivamente para esse sistema, sendo assim, realizado uma adaptação na estruturação do MARY para retirar apenas a implementação utilizada pelo seu HTS Atividades Paralelas Para realizar a integração do sistema texto-fala do MARY ao FIVE foi estudado o Ubuntu um sistema operacional baseado em Linux desenvolvido pela comunidade de software livre que contêm aplicativos para navegador web, programas de apresentação, edição de texto e planilha eletrônica (UBUNTU, 2014); e realizado um estudo da linguagem de programação Java com auxílio de livros e cursos para iniciar essa integração. Para executar o FIVE foi realizado um estudo no Netbeans um ambiente de desenvolvimento integrado, no qual o FIVE foi desenvolvido. O Netbeans é um ambiente de desenvolvimento livre e de código aberto que permite o desenvolvimento rápido e fácil de aplicações desktop, móvel e web, além da execução em muitas plataformas, como Windows, Linux (NETBEANS, 2014). Para executar o sistema MARY TTS foi realizado um estudo do ambiente de desenvolvimento Java Eclipse. O Eclipse é um ambiente de desenvolvimento de software que inclui um espaço de trabalho e um extensível plug-in do sistema. Ambientes de desenvolvimento incluem o Eclipse Java Development Tools (JDT) para Java, o Eclipse CDT para C e C + + e o Eclipse PDT para PHP (ECLIPSE, 2014).
47 47 Para iniciar o teste de portabilidade foi realizado um estudo na plataforma Android. Android foi desenvolvido pelo Open Handset Alliance e seu código é liberado como opensource. A estrutura do Android é baseada no kernel do Linux e existe um framework Java acima dela. Devido a isso, os desenvolvedores de aplicativos Android são capazes de construir aplicações Android facilmente usando a linguagem de programação Java. Para o desenvolvimento de aplicativos do Android, o Google fornece um SDK Android com bibliotecas e ferramentas úteis (ANDROID, 2014) Trabalhos Futuros A integração do sistema texto-fala do MARY ao FIVE utilizou as ferramentas de treinamento de voz Transcription tool e Voice Import do MARY TTS. Sendo realizado o teste de portabilidade no Android das vozes construídas com uma base corpórea disponibilizada pelo FIVE. Esse sistema MARY TTS utiliza a técnica HMM que possui a implementação do motor HTS totalmente em Java. Por tanto, essa integração foi realizada com apenas uma técnica do sistema texto-fala a HMM, além de possui uma corpórea de voz masculina e feminina limitada para a realização do seu treinamento. A seguir, são apresentados alguns pontos que podem ser investigados no futuro: Aumentar a corpórea de voz masculina e feminina para melhora a qualidade da voz sintética. Realizar o treinamento da voz com a utilização de outras técnicas de sistema de conversão texto-fala Possibilitar a realização do treinamento da voz em outros sistemas operacionais, como Windows e o Mac IOS. Realizar a otimização das vozes com técnicas executadas no pós-processamento da voz sintetizada. Estruturar o dicionário português do Brasil com todas as palavras existentes atualmente, inclusive com palavras regionais.
48 48 6. REFERÊNCIAS ALBANO, Eleonora Cavalcante; AQUINO, Patricia Aparecida. Linguistic criteria for building and recording units for concatenative speech synthesis in brazilian portuguese. In: EUROSPEECH ANDROID, An Open Handset Alliance Project. Disponível em: <http://www. openhand setalliance.com>. Acesso em: 06 Mai BARROS, Maria João Almeida de Sá. Estudo comparativo e técnicas de geração de sinal para a síntese da fala COSTA, Ericson Sarmento et al. Um Sintetizador de Voz Baseado em HMMs Livre: Dando Novas Vozes para Aplicações Livres no Português do Brasil COUTO, Igor Costa do. Desenvolvimento de recursos para a construção de um sistema texto-fala para o português brasileiro CHARFUELAN, Marcela. Voice Import Tools Tutorial: How to build a new Voice with Voice Import Tools. Disponível em: <http://mary.opendfki.de/wiki/voiceimporttools>. Acesso em: 24 Mar DUTOIT, Thierry et al. The MBROLA project: Towards a set of high quality speech synthesizers free of use for non commercial purposes. In: Spoken Language, DUTOIT, T. An introduction to text-to-speech synthesis. Norwell, MA, USA, Kluwer Academic Publishers, ECLIPSE, I. D. E.; Documentação do IDE, Eclipse. Disponível em: <http://www.eclipse. org>. Acesso em: 02 Mai FARINAZZO, Valéria et al. An Empirical Approach for the Evaluation of Voice User Interfaces. Rita Mátrai, ISBN, p , FESTIVAL, software multi-lingual. Disponível em: <http://festvox.org/festival/>. Acesso em: 13 Mar FUKADA, Toshiaki et al. An adaptive algorithm for mel-cepstral analysis of speech. In: Acoustics, Speech, and Signal Processing, ICASSP-92., IEEE, p FURBSPEECH, convert text into speech. Disponível em: <https://code.google.com/ p/furbspeech>. Acesso em: 13 Mar GAMMA, Erich et al. Design patterns: elements of reusable object-oriented software. Pearson Education, 1994.
49 GOMES, De CT et al. Text-to-speech conversion system for Brazilian Portuguese using a formant-based synthesis technique. In: Telecommunications Symposium, ITS'98 Proceedings. SBT/IEEE International. IEEE, HUANG, Xuedong et al. Spoken language processing. Englewood Cliffs: Prentice Hall, HTK, Extensions HTK. Disponível em: <http://htk.eng.cam.ac.uk/extensions>. Acesso em: 30 Mar HTS, HMM-Based Speech Synthesis System. Disponível em: <http://hts.sp.nitech.ac.jp/>. Acesso em: 04 Abr HTSENGINE, hts_engine API. Disponível em <http://hts-engine.sourceforge.net/>. Acesso em: 04 Abr KORNAL, A. (Ed.). Extended finite state models of language. Cambridge University Press, LATSCH, Varner Luis. Desenvolvimento de um sistema de conversão texto-fala com modelagem de prosódia Tese de Doutorado. Universidade Federal do Rio de Janeiro. LOQUENDO, Loquento Interactive TTS. Disponível em: <http://www.loquendo.com>. Acesso em: 20 dez LIANETTS, Sinetizador de voz. Disponível em: <http://intervox.nce.ufrj.br/lianetts/>. Acesso em: 13 Mar LIBERMAN, Mark. Computer speech synthesis: its status and prospects. Proceedings of the National Academy of Sciences, p MAIA, R. da S. et al. Towards the development of a brazilian portuguese text-to-speech system based on HMM. In: INTERSPEECH MAIA, R. S. Speech Synthesis and Phonetic Vocoding for Brazilian Portuguese based on Parameter Generation from Hidden Markov Models. Tese (Doutorado em Engenharia). Nagoya Institute of Technology, MACIEL, A., CARVALHO, E. FIVE - Framework for an Integrated Voice Environment. International Conference on Systems, Signals and Image Processing, Rio de Janeiro, MACIEL, A. Investigação de um Ambiente para o Desenvolvimento Integrado de Interface de Voz, Tese (Doutorado em Ciência da Computação). Universidade Federal de Pernambuco, Recife, MACIEL, A., CARVALHO, E. Integration and evaluation of an HMM-based Text-To- Speech System to five. In: Systems, Signals and Image Processing (IWSSIP), MARY, System Text-to-Speech. Disponível em: < Acesso em: 01 Mai
50 50 MBROLA, The Mbrola Project. Disponível em: <http://tcts.fpms.ac.be/synthesis>. Acesso em: 18 Fev NEODATIS. Neodatis Object Database. Disponível em: <http://neodatis.wikidot.com>. Acesso em: 20 dez NETBEANS. the smarter and faster way to code. Disponível em: <https://netbeans.org/>. Acesso em: 02 Mai PAMMI, Sathish; CHARFUELAN, Marcela; SCHRÖDER, Marc. Multilingual Voice Creation Toolkit for the MARY TTS Platform. In: LREC RABINER, L. R., SCHAFER, R. W. Introduction to digital speech processing. MFoundations and trends in signal processing, v. 1. Boston, Mass: Now, RICHARD, O. Duda; PETER, E. Hart; DAVID, G. Stork. Pattern classification. A Wiley- Interscience, p , SCHRÖDER, Marc; TROUVAIN, Jürgen. The German text-to-speech synthesis system MARY: A tool for research, development and teaching. International Journal of Speech Technology, v. 6, n. 4, p , SCHRÖDER, Marc et al. The MARY TTS entry in the Blizzard Challenge In: Proc. blizzard challenge SEARA, Izabel C. et al. Classificação Sintagmática Focalizando a Síntese de voz: Regras para o Português Brasileiro. XXV Simpósio Brasileiro de Telecomunicações (SBrT 2007), SIMÕES, Flavio Olmos. Implementação de um sistema de conversão texto-fala para o português do Brasil, SOUSA, D.; SATURNINO; MACIEL, A. M. A. A Portability Evaluation of Brazilian Portuguese voices produced with MARY TTS. In: Systems, Signals and Image Processing (IWSSIP), SOUZA, C. F. Síntese de Fala em Português Brasileiro baseado nos Modelos Ocultos de Markov. Dissertação (Mestrado em Ciência da Computação). Universidade Federal de Pernambuco, SPTK, Speech Signal Processing Toollit. Disponível em: <http://sp-tk.sourceforge.net/>. Acesso em: 05 Mai TABET, Youcef; BOUGHAZI, Mohamed. Speech synthesis techniques. A survey. In: Systems, Signal Processing and their Applications (WOSSPA), TAYLOR, P. Text-To-Speech Synthesis. Cambridge: Cambridge University Press, 2009.
51 TOKUDA, Keiichi et al. An algorithm for speech parameter generation from continuous mixture HMMs with dynamic features TOKUDA, Keiichi et al. Speech parameter generation algorithms for HMM-based speech synthesis. In: Acoustics, Speech, and Signal Processing, ICASSP'00. Proceedings IEEE International Conference on. IEEE, p UBUNTU, Comunidade Brasil. Disponível em: Acesso em: 20 Mai ZEN, Heiga et al. The HMM-based speech synthesis system (HTS) version 2.0. In: Proc. of Sixth ISCA Workshop on Speech Synthesis WALKER, Willie; LAMERE, Paul; KWOK, Philip. FreeTTS: a performance case study WELLS, John C. et al. SAMPA computer readable phonetic alphabet. Handbook of standards and resources for spoken language systems, v. 4,
52 52 APÊNDICE A Esta seção de apêndice apresenta o artigo publicado no IWSSIP Systems, Signals and Image em Com o título A Portability Evaluation of Brazilian Portuguese voices produced with MARY TTS pelos autores Danilo Souza, Levi Saturnino, Alexandre M. A. Maciel da Science and Technology Faculty of Caruaru University of Pernambuco Brazil. Abstract - The voice user interface area has received great attention from academics and one reason of this is convergence of devices and the massive production of multimedia content. Additionally, the increasing use of smartphones has enabled the use of synthesis at times when the user may not have their eyes fixed on the display. This work realized portability evaluation of MARY TTS in operating system for mobile devices Android, for this two Brazilian Portuguese voices were built and a portability evaluation was realized. The obtained results are positives and promise to be a great useful for real application. Keywords Text-To-Speech; MARY TTS; Android; FIVE I. INTRODUCTION In recent years, the voice user interface area has received great attention from academics due two reasons: first, due to improvements in the performance of automatic systems for speech processing, including speech recognition, translation of spoken idioms and voice synthesis; second, due to the convergence of devices and the massive production of multimedia content, that requires faster and more efficient means of interaction with the user. Besides those advancements, the build of applications with voice user interface that are able to recognize speech, understand voice commands from its users and provide answers to them still is a challenge, due to its interdisciplinary and complexity of development [1]. According to Huang et al. [2], the typical architecture for development of this type of voice user interface has three main components: the first one represents the set of engines responsible by speech recognition or by voice synthesis; the second one consists in a API (Application Programming Interface) that normally is used to make ease the communication between engines and application; and the last one consists in a set of possible applications that might be developed. This architecture has been guiding works performed in this area over the years and several resources have been created with the goal to help this hard process.
53 53 The construction of the speech recognition and synthesis engines is fundamentally a process of Pattern Recognition, which usually follows a common architecture for any pattern: pattern acquisition, feature extraction, pattern classification and analysis of the results [3]. In the other hand, the instantiation of these engines on application layer must follow a set of default settings specified in the API, depending on the programming language or platform. The applications can be as diverse as the needs of developers and their customers. In recent years, many studies have been conducted on academics to provide improvements on rates of speech recognition and quality of synthetic speech, however, little effort has been made in bringing these advances to the application level. The available resources today meet specific applications, have slow learning curve and present serious problems of integration, extensibility and portability. Given this scenario, was designed FIVE (Framework for an Integrated Voice Environment) with purpose to assist the process of construction and instantiation of speech engines in different technological environments (telephone, mobile, digital TV), in an integrated manner, scalable for various techniques and portable [4]. The FIVE is an open source tool "in development", requiring collaboration of academia to assist the implementation of new features and to make improvements in existing processes. In Maciel e Carvalho [5] was presents an integration process and a quality evaluation of HMM-based Text-To-Speech System to FIVE. In that work, resources like SPTK [6], HTS [7] and HTS Engine [8] were used for feature extraction, training and tests respectively. Besides voice analysis has acquired extremely relevant results compared with Loquendo synthesizer, a shell command executor was implemented to make calls to these resources. This solution is against the FIVE s independence platform proposal and a similar Java implementation was suggest as future work. Thus, this article aims to realize portability evaluation of MARY TTS [9], an opensource, multilingual Text-to-Speech Synthesis platform written in Java, in operating system for mobile devices Android. For this, the work is organized as follows. Section II provides a brief overview of state of art of speech synthesis and mentions the main software features available for the synthesis-based HMM. Section III describes the voices development process of MARY TTS, divided in two sections: natural language processing and voice generation. Section IV shows the validation test realizes in Android operation system for mobile environment. Section V brings the final work considerations.
54 54 II. SPEECH SYNTHESIS Speech synthesis is the process of creating a synthetic replica of a speech signal so as to transmit a message from a machine to a person, with the purpose of conveying the information in message [10]. There are different strategies that can be used to implement a speech synthesis system based on algorithms. The choice of the most appropriate strategy depends fundamentally of the systems characteristics. According Simões [11], two characteristics are the most important on strategy determination: the signal quality some applications require only a intelligible speech signal, other require that the signal quality must be as close as possible to natural speech; and the vocabulary size simple systems working with fixed and small size vocabularies, on the other hand, more complex systems, like the Text-To-Speech (TTS) systems, require a very large vocabularies. Speech synthesis has progressed remarkably in recent years, and it is no longer the case that state-of-the-art systems sound overtly mechanical and robotic. Due to this, the TTS systems have an enormous range of applications. Systems for e-books, screens and web sites are extremely useful for handicapped users. Additionally, the increasing use of smartphones has enabled the use of synthesis at times when the user may not have their eyes fixed on the display [12]. The process of synthesizing voice consists of two main steps. The first one is the Natural Language Processing (NLP) which consists in the transcription of an input text into a phonetic representation, and the second one step is the Voice Generation in which waveforms are generated and the acoustic output is produced. These two phases are respectively called the high-level and low-level synthesis [13]. A simplified version of the process is shown in Figure 1. Figure 1. Description of Speech Synthesis process [13].
55 55 According to Maia [13] there are different approaches or techniques that can be used for generating speech from an utterance. The most currently used are: speech synthesis for selection and concatenation of units; speech synthesis based on parameters generated by Hidden Markov Models (HMM) and synthesis by rules. Synthesizers based on HMMs have been greatly appreciated recently because of the possibility of obtaining good-quality speech from a rather small database, and due to the fact that voice characteristics can be easily modified. Two important resources designed for generating speech synthesis using HMM are: HTS (HMM-based Speech Synthesis Toolkit) and MARY TTS. The HTS is a modified version of HTK (HMM Toolkit) that includes Expectation Maximization algorithm to estimate the parameters, speaker adaptation for multiple languages, and training based on minimum error generation [14]. Part of the HTS, HTS Engine API is a software for synthesizing speech waveforms from HMMs trained by HTS. The MARY Text-To-Speech System is completely written in Java and supports both concatenative and HMM-based synthesis. MARY stands for Modular Architecture for Research on speech synthesis and it is a modern open source framework for TTS. As of version 5.0, supports German, British and American English, Telugu, Turkish, Russian and Italian and more languages are in preparation. Charfuelan [15] present a Tutorial that explains the procedure to build a new voice, while Couto et al. [16] describes the development of a complete TTS system for Brazilian Portuguese using the MARY framework based on the HMM speech synthesis approach. This work was based on these two references for development of two Brazilian Portuguese voice (male and female) using MARY TTS. III. BUILDING VOICES WITH MARY TTS As mentioned in section II, the process of building a speech is divided into two phases: Natural Language Processing and Voice Generation. The following subsections provide more details of this development process. A. Natural Language Processing The NLP phase used in this work was based on settings Charfuelan [15] as shown in Figure 2 and used Mary Transcription GUI tool, available on TTS MARY Framework for obtaining the phonetic information.
56 56 Figure 2. Block diagram of the steps for creating the BP version of MARY. Adapted from [15]. This phase requires a set of files for each language that it supports. The philosophy adopted by MARY is to provide support for the creation of a basic data-driven text preprocessing module. This work adopted the recipe suggested by MARY for training finite state transducers (FST). The FST training procedure requires the definition of a phonetic alphabet (allophones.pt_br.xml) and a dictionary (pt_br.dic), with preferably all the words that should be supported. The phonetic representation used was the same used by Couto et al. [16] based on SAMPA [17] and the dictionary was the same used in Maciel and Carvalho [5] with 10,019 words. As results of this phase, it was generated two FSTs. The first onde is responsible for converting graphemes into phonemes. The second FST is a rudimentary part-of-speech tagger and, for the developed system, tries only to distinguish functional and non-functional words. Both FSTs are based on classification and regression trees (CART) and more details can be
57 57 found in [18]. At the end of the process, four files were created and compose the text preprocessing module (pt_br lexicon.fst - grapheme-to-phoneme FST; pt_br.lst - letter to sound for unknown words; pt_br pos.fst - functional words FST; pt_ BR lexicon.dict dictionary). B. Voice Generation After obtaining the phonetic information, still following settings Charfuelan [15] was chosen the HMM-based approach for Voice Generation. For HMM training, one needs a labeled corpus with transcribed speech. This work used the speech data available on the Maciel e Carvalho [5], composed of two speakers (male and female) and with 764 phonetically balanced utterances, offering approximately two hours of audio. The used tool for Voice Generation was Voice Import Tool (VIT). VIT is a Graphical User Interface (GUI) which contains a set of Voice Import Components and helps the user to build new voices under the MARY. Figure 3 shows GUI screenshot. Figure 3. The GUI of the VoiceImport tool. According Charfulean [15] the steps for building a HMM voice for the MARY platform, using VIT, can be summarized in the follow sections: I - Download MARY TTS including Voice Import Tools using the trunk version. II - Check the necessary programs and files using a script to facilitate the checking and installation of the necessary external programs. Basically the required programs are the same used by HTS. In this work the installed programs versions are: HTS-2.2_for HTK patch,
58 58 HTK-3.4.1, SPTK-3.4.1, hts_engine_api-1.05 and other programs normally available in Linux, like: awk, perl, bc, sox, tcl, and snack. III - Check data: audio and text files. To do this, it is necessary execute the step-by-step procedure in Voice Import Tools Tutorial [15] to make sure that the data, sound (wav) and text files are in the correct place and format. For sound files, the used format was 16kHz, mono, 32 bits, and for text files was used the output of NLP stage. IV - Run the Voice Import tools. This section covers fourteen steps necessary for HMM training. For the subtask of file preparation it has: AllophonesExtractor, EHMMLabeller, LabelPauseDeleter, PhoneUnitLabelComputer, TranscriptionAligner, FeatureSelection, PhoneUnitFeatureComputer, PhoneLabelFeatureAligner. For the subtask of HMM training: HMMVoiceDataPreparation,HMMVoiceConfigure,HMMFeatureSelection, HMMVoiceMake Data, HMMVoiceMakeVoice and HMMVoiceInstaller. A complete description of each component is available on Charfulean [15]. V - The last component for Voice Generation is HMMVoiceInstaller. It installs the new voice, copying the necessary files to the correct locations. After this stage the TTS system is already supported by the MARY server. MARY provides support to the client-server architecture. Hence, a TTS system is decomposed in a server application, which contains the components to make the synthesis, and a client application, which makes requests for the server to execute some task. A server can support many languages and waits requests from one or several clients in a port specified by user. A set of configuration files, read at system startup, defines the processing components to be used [19]. IV. PORTABILITY EVALUATION ON ANDROID Android [20] is the world s most popular mobile platform. It is developed by the Open Handset Alliance and its code is released as open-source. Android mobile devices are used by numerous people, and nowadays, several developers are creating Android applications. The structure of Android is based on the Linux kernel and there is a Java framework above it. Due to this, Android application developers are able to build Android applications easily by using the Java programming language. For developing Android applications, Google provides an An-droid SDK with libraries and useful tools.
59 59 The Android SDK provides you the API libraries and developer tools necessary to build, test, and debug apps for An-droid. The basic steps for developing applications encompass four development phases, which include [21]: I - Setup: in this phase the developer install and set up your development environment. You also create Android Virtual Devices (AVDs) and connect hardware devices on which you can install your applications. II - Development: in this phase the developer set up and develop your Android project, which contains all of the source code and resource files for your application. III - Debugging and Testing: in this phase the developer build your project into a debuggable apk package that you can install and run on the emulator or an Android-powered device. IV - Publishing: in this phase the developer configures and builds your application for release and distributes your application to users. In this work it was installed ADT Bundle to quickly start developing apps. It includes the essential Android SDK components and a version of the Eclipse IDE with built-in ADT (Android Developer Tools) to streamline your Android app development. The development stage involved only one Activity class, which takes care of creating a window for place the user interface through a ContentView as shown in Figure 4. Figure 4. The GUI of the VoiceImport tool.
60 60 For codification, was used Version 4.4 of operation system and MediaPlayer class to realize the communication with MARY TTS. For debugging and testing stage SDK emulator was used initially, and then, Nexus 4 E960 device. No publication was realized because it was not the aim of the project. V. CONCLUSIONS This paper presents the development process of two voices for the Brazilian Portuguese through the MARY TTS system and the evaluation of them on operating system for mobile de-vices Android. The development process of the voices, taking MARY Framework GUIS s as reference was successful. Considering the expertise of the team, the use of this kind of interface optimized the work and become a faster learning curve. Regarding the quality of the generated voices, there were no significant differences when compared to previous work with the same database. An important observed point in this stage was the need to use to keep the calls to external programs. We assessed that this dependence does not give serious problem of portability since the step of generating voice invariably is always per-formed on servers with high processing capability. Regarding the portability evaluation, the use of MARY TTS s client-server architecture optimized the realized tests. This type of architecture is commonly used mechanisms for speech recognition, such as Apple's Siri or Google search by voice. However, considering that Android natively provides resources for speech synthesis and, considering the usual problems of connectivity services that occur in Brazil, we believe the implementation of a process of adapting this architecture is necessary for a localhost architecture. Thus, we consider that the final results of this work satisfactorily met the initial objective of evaluating the ability of the MARY TTS portability for the mobile environment, and we believe that, as future work, a process of integrating of this resources to FIVE can provide great space for building applications with voice synthesis in Brazilian Portuguese in the Android environment.
61 61 REFERENCES [1] Salvador, V. F. M., Kawamoto, A. L. S., Oliveira Neto, J. S., An Empirical Approach for the Evaluation of Voice User Interfaces, Users Interfaces, v.1, pp 270. [2] Huang, X., Acero, A., Hon, H.W., Spoken Language Processing A Guide to Theory, Algorithm, and System Development. New Jersery: Prentice Hall. [3] Duda, R.O., Hart, P.E., Stork, D.G., Pattern Classification, Wiley-Interscience [4] Maciel, A. M. A., Carvalho, E. C. B. (2010) FIVE Framework for an Integrated Voice Environment. In: Proceedings of International Conference on Systems, Signal and Image Processing, Rio de Janeiro. [5] Maciel, A. M. A., Carvalho, E. C. B. (2012) Integration and Evaluation of an HMMbased Text-To-Speech System To FIVE. In: Proceedings of International Conference on Systems, Signal and Image Processing, Rio de Janeiro. [6] SPTK, available at: sp-tk.sourceforge.net/ (29/11/2013). [7] HTS, available at: hts.sp.nitech.ac.jp/ (29/11/2013). [8] HTS Engine, available at: hts-engine.sourceforge.net/ (29/11/2013). [9] MARY TTS, available at: mary.dfki.de/ (29/11/2013). [10] Tabet, Y., Boughazi, M. Speech Synthesis Techniques: A Survey. In: Proceedings of International Workshop on Systems, Signal Processing and their Applications, Argel, Argélia, [11] Simões, F. O. Implementação de um Sistema de Conversão Texto-Fala para o Português do Brasil. Master Dissertation. State University of Campinas, [12] Taylor, P. Text-To-Speech Synthesis. Cambridge, Cambridge University Press, [13] Maia, R. S. Speech Synthesis and Phonetic Vocoding for Brazilian Portuguese based on Parameter Generation from Hidden Markov Models. Doctoral Thesis. Nagoya Institute of Technology, [14] HTK HMM Toolkit, available at: htk.eng.cam.ac.uk/ (29/11/2013). [15] Voice Import Tools Tutorial : How to build a HMM-based voice for MARY 5.0 TTS system, available at: mary.opendfki.de/wiki/hmmvoicecreation-mary-5.0 (29/11/2013). [16] Couto, I., Neto, N., Tadaiesky, V., Kalutau, A., Maia, R. (2011) Na Open Source HMM-based Text-To-Speech System for Brazilian Portuguese. In Proceeding of International Telecommunications Symposium, Manaus. [17] SAMPA for Porguguese. Available at: (29/11/2013). [18] Transcription Tool. Available at: mary.opendfki.de/wiki/transcriptiontool/ (29/11/2013).
62 [19] Schröder, M. and Hunecke, A. MARY TTS participation in the Blizzard Challenge 2007, [20] Google Android - An Open Handset Alliance Project, available at: (29/11/2013). [21] Google Developer, available at: (29/11/2013). 62