DeepFaceLab: framework de troca facial – PARTE 3 - Laboratório iMobilis
DeepFaceLab: framework de troca facial – PARTE 3
On 16 de outubro de 2021 by Natalia Meira
Para avaliar o modelo, o DeepFaceLab foi comparado com outras estruturas de troca de faces comumente usadas e obteve desempenho competitivo entre eles sob condições experimentais idênticas.
Os resultados foram obtidos de exemplos de diferentes expressões, formas de rosto e iluminações. A Figura 1 abaixo demonstra resultados de troca de faces comparando DFL com outros projetos open source (DeepFakes, Nirkin e Face2Face) retirados do conjunto de dados FaceForensics ++.
Figura 1 – A comparação da DFL com os projetos open source de troca de face.
Para comparar os resultados com vídeos do FaceForensics ++, o DFL utilizou o SSIM para comparar a similaridade da estrutura e a perda perceptual para comparar diferenças de alto nível, como discrepâncias de conteúdo e estilo, entre o indivíduo-alvo e o indivíduo trocado.
Comparando com os baselines Deep-Fakes e Nirkin, foram calculadas a média e a variância das medições nos 100 quadros (amostragem uniforme ao longo do tempo) dos primeiros 500 vídeos no FaceForensics ++, calculando a média entre os vídeos. A Tabela 1 mostra que o DFL é mais hábil em reter a pose e a expressão do que as baselines.
Tabela 1 – Resultados quantitativos da troca de faces em imagens faciais do FaceForensics ++.
Para comparar os efeitos visuais, foram realizados estudos de ablação em três partes essenciais: estrutura de rede, paradigma de treinamento e restrição de espaço latente. Os autores aprimoraram as estruturas para DFHD e LIAEHD adicionando mais camadas de extração de recursos e blocos residuais do que a versão original. Os resultados quantitativos da ablação são relatados na Tabela 2.
Figura 2 – Experimentos de ablação de diferentes estruturas de modelo (com GAN e TrueFace).
Tabela 2 – Resultados de ablação quantitativa em imagens faciais FaceForensics ++.
Assim, para os autores, o DFL se tornou o sistema de troca de faces mais maduro do mundo devido ao seu longo progresso de desenvolvimento, como por exemplo, o fornecimento de diferentes métodos de segmentação de face e de ferramentas eficientes desenvolvidas de acordo com os requisitos dos usuários.
O DFL oferece suporte a conjuntos de dados em grande escala, até 100 mil imagens. Com a grande quantidade de dados, os resultados finais tendem a alcançar qualidade significativa, com a possibilidade de troca de rosto, manipulação de lábios, substituição de cabeça, etc.
O surgimento do DFL adicionou a indústria do entretenimento um alto valor econômico ao substituir o ator dublê por estrelas pop, uma vez que, produções relacionadas ao deepfake cresceram exponencialmente, produzindo deepfakes de alta qualidade.
A rápida evolução do DeepFaceLab o tornou uma ferramenta de troca de faces popular na comunidade de profissionais de aprendizado profundo, tornando o entretenimento deepfake uma tendência nas mídias sociais.
Referência: PEROV, I.; GAO, D.; CHERVONIY, N.; LIU, K.; MARANGONDA, S.; UMÉ, C.; JIANG, J; RP, C.; ZHANG, S.; WU, P.; ZHANG, W. (2020). Deepfacelab: A simple, flexible and extensible face swapping framework. arXiv preprint arXiv:2005.05535