Para que o windows service funcione corretamente, foi recomendado que seja reiniciado o pc após a finalização da instalação.
Eu encontrei um artigo no MSDN que explica como fazer isso: é necessário instalar o ORCA e configurar o arquivo .msi após a sua criação.
O problema é que o projeto está sendo desenvolvido por várias pessoas, e não exclusivamente na minha maquina. Isso acarreta a necessidade de instalação do ORCA em todas as maquinas e também pode gerar problemas caso alguém "esqueça" o procedimento de alterar o .msi após uma nova recompilação.
O setup project possui uma aba para configuração do registro do Windows, onde eu importei os arquivos de registros necessários para a configuração da aplicação.
Uma das chaves guarda uma senha criptografada, que gerou uma sequencia de caracteres que possui uma "[" no meio da string.
Pelo que eu entendi, o caracter [ e ] indica abertura e fechamento de busca de dados, caso eu queira por exemplo escrever na chave o nome da aplicação, eu colocaria [ProductName] e ele faria a busca automatica dos dados.
Como eu estou abrindo uma chave e não estou fechando, o erro é apresentado e fica impossível de compilar.
Pergunta: Existe alguma maneira de indicar essa chave como um caracter normal e não como busca de dados?
Danimar, Obrigado pelas dicas, eu tentarei fazer a reinicialação do sistema conforme está descrito no link enviado. Quanto ao serviço do windows, eu já configurei ele para inicializar após a instalação. Porém, ele inicializa, mas não funciona corretamente enquanto o windows não é reinicializado (particularidade do serviço). Obrigado.

Com 71 metros de comprimento e 19 metros de altura, o Agenor Gordilho fez a viagem inaugural no Sistema Ferry Boat no dia 5 de dezembro de 1972, realizando a travessia Salvador-Itaparica durante 45 anos, foi utilizado até o fim de 2017. E para dinamizar o turismo náutico na Baía de Todos-os-Santos. Nesta quinta-feira (3), a Marinha fez a última vistoria na embarcação, verificando se todas as peças, óleos e combustíveis foram removidos para atender às especificações ambientais.