SumajGAN: transferencia supervisada de maquillaje facial con redes generativas adversarias profundas

  • Pedro Jesús Guzmán-Ramos Universidad ESAN
  • Wilfredo Mamani-Ticona Universidad ESAN
Palabras clave: autoencoder, CNN, BeautyGAN, PairedCycleGAN, BeautyGlow

Resumen

El reto de la transferencia de maquillaje de una imagen a otra ya está resuelto por los modelos BeautyGAN, PairedCycleGAN y BeautyGlow. Estos modelos lograron solucio nar el reto mencionado mediante un enfoque de aprendizaje semisupervisado; lo cual resuelve el problema de obtener un dataset alineado de maquillaje, pero a costa de un alto poder de cómputo. Por este motivo, en esta investigación se creó un dataset de imágenes alineadas y adicionalmente se propuso un modelo de transferencia de maquillaje mediante un enfoque supervisado. El dataset está compuesto por 5400 grupos de imágenes, cada grupo de imágenes se encuentra conformado por una imagen sin maquillaje, una imagen con maquillaje de referen cia y otra imagen con el maquillaje de la referencia y la identidad de la persona sin maquillaje. El modelo propuesto en esta investigación es llamado SumajGAN, el modelo se encuentra conformado por un discriminador de tipo PatchGAN y un generador de dos entradas inspi radas en un autoencoder. Se realizaron varios experimentos y el mejor resultado obtenido fue de 0,021658644 de error absoluto medio y alta resolución con una correcta transferencia de maquillaje. El modelo SumajGAN ha logrado realizar el objetivo planteado disminuyendo el tiempo de entrenamiento de modelos como BeautyGAN, PairedCycleGAN y BeautyGlow.

Descargas

La descarga de datos todavía no está disponible.

Citas

Chen, H., Hui, K., Wang, S., Tsao, L., Shuai, H., y Cheng, W. (2019). BeautyGlow: On-Demand Makeup Transfer Framework with Reversible Generative Network. IEEE Xplore. https://bit.ly/2wAPZDk

Chang, H., Lu, J., Yu, F., y Finkelstein, A. (2018) PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup [Sesión de conferencia]. 2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi 10.1109/CVPR.2018.00012

Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A.,y Bengio, Y. (2020). Generative Adversarial Networks. Commun. ACM, 63(11), 139-144. https://doi.org/10.1145/3422622

Gulli, A., y Pal, S. (2017). Deep Learning with KerasImplement Neural Networks with Keras on Theano and TensorFlow. Packt Publishing.

Guo, D., y Sim, T. (2009). Digital face makeup by example. 2009 IEEE Conference on Computer Vision and Pattern Recognition, 73-79. https://doi.org/10.1109/CVPR.2009.5206833

Isola, P., Zhu J., Zhou T., y Efros, A. (2017). Image-to-Image Translation with Conditional Adversarial Networks. 2017 [Sesión de conferencia]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), (pp. 5967-5976). 10.1109/CVPR.2017.632.

Kingma, D., y Dhariwal, P. (2018). Glow: Generative Flow with Invertible 1×1 Convolutions. arXiv:1807.03039v2.

Li, T., Qian, R., Dong, C., Liu, S., y Yan, Q. (2016). Makeup Like a Superstar: Deep Localized Makeup Transfer Network [Sesión de conferencia]. IJCAI’16 Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence), (pp. 2568-2575).

Li, T., Qian, R., Dong, C., Liu, S., y Yan, Q. (2018). BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network [Sesión de conferencia]. 2018 ACM Multimedia Conference on Multimedia Conference (ACMMM), (pp. 645-653). 10.1145/3240508.3240618.

Zhu, J., Park, T., Isola, P., y Efros, A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ArXiv preprint arXiv:1703.10593

Publicado
2021-10-14
Cómo citar
Guzmán-Ramos, P. J., & Mamani-Ticona, W. (2021). SumajGAN: transferencia supervisada de maquillaje facial con redes generativas adversarias profundas. Actas Del Congreso Internacional De Ingeniería De Sistemas, 137-149. https://doi.org/10.26439/ciis2020.5503