Desenho de Rosto Realista - Caricatura e desenho
Um artigo técnico apresentado na Siggraph 2020 oferece resultados promissores.
Pesquisadores da Academia Chinesa de Ciências e da Universidade da Cidade de Hong Kong desenvolveram uma solução baseada em aprendizado profundo para tradução de esboço para imagem. A equipe apresentou seu artigo técnico (requer login) no Siggraph 2020 que foi concluído recentemente. Eles demonstraram um sistema que usa esboços livres ou incompletos e produz imagens de rosto realistas de alta qualidade (resolução: 512 × 512), que respeitam fielmente os esboços de entrada. Aqui, fidelidade significa o grau de adequação para inserir esboços .
Outros pesquisadores também tentaram gerar imagens a partir de esboços incompletos. Mas seus métodos exigiram dados relativamente precisos, o que é difícil sem habilidades de desenho de nível profissional.
Existem três módulos principais no sistema DeepFaceDrawing: incorporação de componentes (CE), mapeamento de recursos (FM) e síntese de imagens (IS). O módulo CE forma a primeira sub-rede e funciona em uma arquitetura autocodificadora que ajuda a reconstruir a entrada. A segunda sub-rede consiste em dois módulos: mapeamento de recursos e síntese de imagens. No experimento, um esboço de face áspera é a entrada e a saída é uma imagem realista baseada nos dados do esboço de face. O módulo CE detecta cinco componentes principais do rosto a partir do esboço: olho esquerdo, olho direito, nariz, boca e resto do rosto. O módulo transforma esboços de componentes em vetores de recursos semanticamente significativos. Em seguida, o módulo FM transforma os vetores de recursos do componente nos mapas de recursos correspondentes. Para cada mapa de recursos, o FM possui 32 canais. Além de melhorar o fluxo de informações, esses 32 canais ajudam a fundir componentes de face individuais para criar resultados de síntese de alta qualidade. Os pesquisadores usaram uma ordem de profundidade fixa (ou seja, "olhos esquerdo / direito"> "nariz"> "boca"> "resto") para mesclar os mapas de características. Os mapas de recursos de componentes individuais do rosto são então combinados de acordo com a estrutura do rosto e finalmente passados ​​para o módulo IS para uma síntese de imagem de rosto realista.
Um usuário pode experimentar a interface do aplicativo no site Geometry Learning . A interface de esboço guiado por sombra ajuda os usuários com pouco treinamento em desenho. Ele mostra uma sombra borrada quando a tela está vazia, que é atualizada a cada novo toque de entrada. A imagem sintetizada correspondente é visível na janela do lado direito. No entanto, os usuários com boas habilidades de desenho podem usar os controles deslizantes fornecidos para cada tipo de componente de face para controlar os pesos de mistura entre um componente esboçado e sua versão refinada após a projeção múltipla. O ajuste fino dos pesos de mesclagem leva a um resultado que reflete melhor o esboço de entrada com mais fidelidade.
Enquanto estava na interface de esboço guiado pela sombra, tentei desenhar o esboço do físico Albert Einstein. Eu estava curioso para ver qual seria o resultado. Mas descobri que o experimento depende do conjunto de dados CelebAMask-HQ. É um conjunto de dados de imagens faciais em grande escala que possui 30.000 imagens faciais de alta resolução selecionadas do conjunto de dados CelebA seguindo o CelebA-HQ. Cada imagem possui máscara de segmentação dos atributos faciais correspondentes ao CelebA. Atualmente, o experimento foca apenas faces frontais, sem acessórios como óculos, máscaras faciais, etc. O pesquisador Hongbo Fu diz que o experimento pode trabalhar com vários fenótipos como etnias diferentes e traços menos comuns como nariz arrebitado. Realmente depende dos dados de treinamento. As imagens de saída mostradas no experimento são todas de pessoas brancas. Os rostos de pele morena ou morena foram excluídos dos dados de treinamento? Fu responde que o conjunto de dados de treinamento atual (CelebAMask-HQ) não tem muitos rostos de pele escura. Além disso, seu algoritmo atual não tem nenhum controle sobre a cor da pele. De acordo com o acordo do conjunto de dados emGitHub , o conjunto de dados CelebAMask-HQ está disponível apenas para fins de pesquisa não comercial. Portanto, na versão comercial do DeepFaceDrawing, podemos esperar ver um banco de dados extenso, sem limite nos fatores mencionados acima.
Os métodos de síntese de esboço para imagem existentes requerem esboços de alta qualidade ou mapas de borda suavizados para produzir imagens realistas. Sua pouca capacidade de lidar com esboços feitos à mão limita o uso do aplicativo. Esses métodos tendem a usar sketches de entrada como restrições rígidas, limitando a capacidade de lidar com imperfeições de dados. Portanto, a imagem de saída está um pouco distorcida.
A metodologia descrita neste artigo de pesquisa segue uma abordagem local para global, que divide o esboço de face em componentes, a projeção múltipla recupera a amostra de componente mais próxima em cada espaço de recurso de nível de componente, mapeando os vetores de recursos refinados para os mapas de recursos para combinação espacial e, finalmente, traduzir os mapas de recursos combinados em imagens realistas.
Como sabemos, a entrada aqui são esboços em preto e branco. Se o aplicativo fornecer mais controle sobre a cor e a textura da entrada, podemos ter atributos faciais desejados na imagem de saída, por exemplo, cor do cabelo, cor da pele, maquiagem, etc. Adicionar ruído aleatório à entrada pode aumentar a diversidade dos resultados. O grupo diz que projetos futuros também visam a capacidade de sintetizar objetos de outras categorias. Eu adoraria desenhar esboços de automóveis, móveis, joias, etc.
Uma tecnologia como essa pode um dia se tornar disponível como um produto de consumo ou comercial que ajudaria a capturar criminosos ou criar imagens realistas de personagens imaginários para filmes ou mídia impressa. Os alunos com habilidades mínimas de desenho podem aprender a projetar coisas e não seria maravilhoso ser capaz de gerar imagens realistas de um esboço, sempre que necessário?
Este é um trabalho fantástico e provavelmente aparecerá em programas de pintura e desenho em breve. Antigamente, e talvez ainda hoje, havia um esforço para digitalizar desenhos antigos. Devido a vincos no papel, manchas e arranhões, a tarefa foi de difícil a impossível sem muita intervenção humana. Este sistema baseado em IA pode superar muitos desses obstáculos e ser uma ferramenta útil para as necessidades de arquivamento de muitas organizações e instituições.