Laparoscopy Surgery CO2 Removal via Generative Adversary Network and Dark Channel Prior
Sebastián Salazar-Colores Hugo Alberto-Moreno Gerardo Flores César Javier Ortiz-Echeverri















Laparoscopy Surgery CO_2 Removal via Generative Adversary Network and Dark Channel Prior
    
Sebastián Salazar-Colores,
Hugo Alberto-Moreno,
Gerardo Flores^*,
and César Javier Ortiz-Echeverri
Sebastián Salazar-Colores,
Hugo Alberto-Moreno y
Gerardo Flores están con el Centro de Investigaciones en Óptica (CIO),
Lomas del Bosque 115, Lomas del Campestre, 37150 León, Gto (https://www.cio.mx).

César Javier Ortiz-Echeverri está con la Universidad Autónoma de Querétaro,
Facultad de informática, Av. de las Ciencias S/N, 76230 Juriquilla, Qro. (https://www.uaq.mx).

^* Corresponding author. Email: gflores@cio.mx


    
==============================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================




Laparoscopic surgery uses a thin tube with a camera called a laparoscope, which is inserted into the abdomen through a small incision in the skin during surgery. This allows to a surgeon to see inside of the body without causing significant injury to the patient. These characteristics make laparoscopy a widely used technique.
In laparoscopic surgery, image quality can be severely degraded by surgical smoke caused by the use of tissue dissection tools which reduces the visibility of the observed organs and tissues. This lack of visibility increases the possibility of errors and surgery time with the consequences that this may have on the patient's health.
In this paper, we introduce a novel hybrid approach for computational smoke removal which is  based on the combination of a widely dehazing method used: the dark channel prior (DCP) and a pixel-to-pixel neural network approach: Generative Adversary Network (GAN). The experimental results have proven that the
proposed method achieves a better performance than the individual results of the DCP and GAN in terms of restoration quality, obtaining a PSNR value of 25 and SSIM index of 0.88 over a test set of synthetic images. 




Laparoscopy, Haze removal, Image Processing, Generative Adversary Network.

















§ INTRODUCCIÓN

La técnica de laparoscopia es ampliamente usada para la visualización y diagnóstico. Esta técnica consiste en la inserción de una cámara a través de pequeñas incisiones, en donde se insertan agujas para expandir el abdomen con gas de dióxido de carbono con el fin de dar cabida a otros instrumentos quirúrgicos. El uso de este gas inevitablemente disminuye la visibilidad de las cámaras usadas en esta técnica, esto puede causar errores en los algoritmos de procesamiento de imágenes así como reducir la visibilidad de los órganos y tejidos observados <cit.>.
Este inconveniente ha motivado la reciente investigación en procesamiento de imágenes, que se ha enfocado a la búsqueda de algoritmos para reducir los efectos del gas y por tanto, aumentar la visibilidad.




Una de las técnicas más usadas para este propósito parte del modelo de dispersión atmosférica, en donde se estima el mapa de transmisión y la luz atmosférica <cit.>. Por ejemplo, en <cit.> se propone una técnica basada en el modelo físico de la dispersión del gas, similar al modelo atmosférico usado en el procesamiento de imágenes con niebla (dehazing), en donde se estima el nivel de humo, considerando el hecho de que éste tiene un bajo contraste así como bajas diferencias entre canales. En base a esta observación, se define una función de costo y se resuelve utilizando un método Lagrangiano aumentado. En <cit.> se formula el problema de dehazing y eliminación de humo en las imágenes laparoscópicas, como un problema de inferencia bayesiana, en donde es usado un sistema probabilístico con modelos de las imágenes sin niebla, así como el mapa de transmisión que indica la atenuación del color en presencia de humo. En <cit.> se implementa un sistema digital basado en el canal oscuro, en donde se observó que estadísticamente las imágenes libres de niebla en exteriores contienen algunos pixeles con muy baja intensidad al menos en uno de los canales de color.

Muchos problemas en el procesamiento de imágenes, gráficos y visión implican la conversión de una imagen de entrada a una imagen de salida determinada. Para ello, a menudo se usan algoritmos específicos, pero que tienen en común el mapeo pixel a pixel (pix2pix). Las redes generativas antagónicas (GAN) son una solución de propósito general que ha funcionado muy bien en una amplia variedad de aplicaciones que requieren un mapeo pixel a pixel, siendo actualmente el estado del arte en muchas de ellas <cit.>. Estas redes constan de dos partes principales, una función generadora, en donde a partir de una imagen de entrada, se genera una imagen de salida con las variaciones determinadas. Por otra parte, una función discriminante que evalúa la imagen generada, con una imagen real con el fin de clasificarla como real o falsa. La idea básica de las redes GAN es entonces lograr la generación de imágenes tan fieles a las originales que el discriminador no logre encontrar diferencia alguna. En el trabajo realizado por Isola et. al. <cit.>, se demuestra que este enfoque es efectivo para sintetizar imágenes a partir de mapas de etiquetas, reconstruir objetos a partir de mapas de bordes y colorear imágenes originalmente en escala de grises. Este nuevo enfoque reduce considerablemente el ajuste de hiperparámetros, tal como pasa con las redes neuronales convolucionales (CNN), pues si bien el proceso de aprendizaje es automático, muchas veces la elección de la función de pérdida y la arquitectura dependen de un gran esfuerzo manual por parte del diseñador. En trabajos recientes se han propuesto arquitecturas basadas en aprendizaje profundo (Deep Learning) para reducir el efecto del gas en imágenes laparoscópicas <cit.>.
En <cit.> se propone el uso de las redes GAN para el aprendizaje no supervisado y la remoción del gas en imágenes.

En este trabajo, como se muestra en la Figura <ref>, dados los excelentes resultados obtenidos en la literatura con el canal oscuro <cit.>, planteamos la posibilidad de utilizar el canal oscuro como una etapa de preprocesamiento para la red Neuronal antagónica Generativa (GAN), teniendo como hipótesis que dicha etapa previa reducirá la complejidad de los patrones presentes en las imágenes en comparación al enfoque end to end.
Los experimentos fueron realizados sobre un conjunto de datos con imágenes de laparoscopia a las cuales se les ha generado artificialmente el efecto del gas CO_2 mediante software de edición de vídeo. 
De acuerdo a las métricas usadas para evaluar los métodos propuestos, el uso de redes GAN para reducir el efecto del CO_2 mejora significativamente la reconstrucción de la imagen frente al enfoque basado en canal oscuro y modelo de dispersión. En cuanto a la combinación de dichos métodos, se encontró una ligera mejora en una de las métricas usadas.
El presente trabajo está estructurado de la siguiente forma: en la sección II, se presentan los fundamentos teóricos y conceptuales usados para la implementación de la red, así como las métricas para la evaluación de los resultados. En la sección III se explican las configuraciones usadas en el diseño del experimento.  En la sección IV se presentan los resultados obtenidos, así como las tablas comparativas respecto a trabajos relacionados. Finalmente, se presenta una discusión, las conclusiones y una perspectiva de futuras investigaciones.




§ MARCO TEÓRICO


En esta sección se presentan los fundamentos teóricos necesarios para la implementación de la metodología propuesta. 



 §.§ Modelo de dispersión atmosférica


La degradación atmosférica es un fenómeno físico causado por partículas en el medio atmosférico que absorben y dispersan la luz degradando así la adquisición de la imagen <cit.>. Esta degradación puede ser expresada utilizando el modelo dicromático <cit.>, como

    I(x,y)=J(x,y)t(x,y)+A(1-t(x,y)),

en donde I(x,y) es la intensidad de la imagen RGB en cada pixel (x,y) con presencia de niebla, J(x,y) es la intensidad de la imagen RGB en cada pixel (x,y) sin degradación, A es el vector normalizado de tres elementos que representan la luz atmosférica (color de la fuente de iluminación), por ejemplo, la luz blanca está representada por A=[1 1 1] en el espacio de color RGB. Finalmente, t(x,y) representa el mapa de transmisión en un atmósfera homogénea modelado por

    t(x,y)=e^-β d(x,y), 0<t(x,y)<1,

donde β es el coeficiente de dispersión, que depende principalmente del tamaño de la partícula de dispersión <cit.>, y d(x, y) representa la distancia de la cámara a la escena en la posición del píxel (x,y). 

Utilizando el modelo dicromático de la Ecuación <ref>, es posible obtener la imagen sin los efectos de neblina J(x,y) siempre y cuando sea posible obtener una estimación precisa de t(x, y) y A <cit.>.






 §.§ Canal oscuro

El canal oscuro representado como I^dark(x,y) se define como

    I^dark(x,y) = min_c∈{R,G,B}(min_z∈Ω{x,y}I^c(z)/A^c) ,

en donde I^dark(x,y) es una matriz generalmente cuadrada, centrada en el pixel (x,y); Ω(x,y) es un kernel generalmente cuadrado centrado en la posición (x,y); I^c(z) son los elementos de la imagen I en las posiciones z∈Ω(x,y); y c representa cada imagen en los respectivos canales R, G y B.
El principio del canal oscuro es definido como la relación estadística entre el canal oscuro y regiones sin neblina, donde se cumple que

    I^dark(x,y)→ 0.

La relación existente entre I^dark y t se expresa como

    t(x,y)=1-ω I^dark(x,y),

en donde 0<ω<1 representa el nivel de restauración. De acuerdo a <cit.>, ω=0.95, en donde se argumenta que este valor produce un mejor aspecto en las imágenes restauradas. Por otra parte, la luz atmosférica puede ser estimada mediante la ecuación

    A= max∑_c=1^3I^c ( [(x,y)∈ 0.1% (h,w)](I^dark(x,y) )    ),

donde h es la altura y w es el ancho de la imagen.






 §.§ Redes Generativas Antagónicas

Las Redes Generativas Antagónicas (GAN) presentadas en 2014 <cit.>, son una clase de algoritmos de inteligencia artificial que se utilizan en el aprendizaje no supervisado, implementadas por un sistema de dos redes neuronales que compiten mutuamente. 
Las GAN se implementan usando capas convolucionales y deconvolucionales (convolucionales transpuestas) para el generador (G), el cual está diseñado para producir salidas que no puedan ser distinguidas de las imágenes reales por una persona entrenada. Por otro lado, una red neuronal convolucional (CNN) constituye el discriminador (D), capacitado para hacer lo mejor posible en la detección de las falsificaciones realizadas por G. Los elementos fundamentales para la implementación de una red GAN se mencionan a continuación.



  §.§.§ Capas convolucionales


Una capa convolucional está compuesta por varios kernel de convolución que se utilizan para calcular diferentes mapas de características. Específicamente, cada neurona de un mapa de características está conectada a una región de neuronas vecinas en la capa anterior. El nuevo mapa de características se puede obtener haciendo una convolución de la entrada con un kernel aprendido y luego aplicando una función de activación no lineal.
Para generar cada mapa de características, el kernel es compartido por todas las ubicaciones espaciales de la entrada. Los mapas de características completos se obtienen utilizando kernel diferentes. Matemáticamente, el valor de la característica en la ubicación (i,j) en el mapa de característica k-th de la capa l-th, z^l_i,j,k, se calcula como

    z^l_i,j,k =  w^l_k ^T x^l_i,j + b^l_k

donde w^l_k y b^l_k son el vector de peso y el término de sesgo del filtro k-th de la capa l-th respectivamente; y x^l_i,j es el parche de entrada centrado en la ubicación (i, j) de la capa l-th. El kernel w^l_k que genera el mapa de características z^l _:,:,k es compartido. Tal mecanismo de reparto de peso tiene varias ventajas, tales como que puede reducir la complejidad del modelo y hacer que la red sea más fácil de entrenar.


  §.§.§ ReLU

La unidad lineal rectificada (ReLU) es una de las funciones de activación no saturada más notable. La función de activación ReLU se define como:

    a_i,j,k= max(z_i,j,k,0)

donde z_i,j,k es la entrada de la función de activación en la ubicación (i,j) en el canal k-th.  ReLU es una función lineal por partes que poda la parte negativa a cero y retiene la parte positiva. La simple operación max(·) de ReLU le permite computar mucho más rápido que las funciones de activación sigmoide o tanh(·), y también induce la dispersión en las unidades ocultas y permite a la red obtener fácilmente representaciones dispersas. Se ha demostrado que las redes profundas pueden ser entrenadas eficientemente usando ReLU incluso sin necesidad de pre-entrenamiento <cit.>



 §.§ Redes Generativas Antagónicas Condicionales


Las GAN son modelos generativos que aprenden un mapeo a partir de un vector de ruido aleatorio z para una imagen de salida y, G:z → y. Por su parte, las redes condicionales GAN, aprenden a partir de la imagen de entrada x y el vector de ruido aleatorio z, G:{ x,z }→ y <cit.>.
Las capas deconvolucionales o convolucionales transpuestas de una CNN, han hecho posible la generación de una salida del mismo tamaño que una imagen de entrada. Sin embargo, la pérdida L_1 o L_2 utilizada como métrica de similitud lleva a una predicción de imágenes borrosas. las redes condicionales GAN buscan resolver este problema añadiendo una pérdida adversa implementada como una Convolutional Neural Netwok (CNN) separada, que posee un sistema binario de salida que funciona como clasificador.






§ MATERIALES Y MÉTODOS




 §.§ Obtención de la base de datos


Los videos de operaciones quirúrgicas de los que se extrajeron las imágenes utilizadas en el presente trabajo fueron obtenidos de repositorios públicos <cit.> así como vídeos proporcionados por un grupo de médicos especialistas en cirugías laparoscópicas [Un video comparativo de los resultados de los métodos propuestos de un video  quirúrgico real puede ser consultado en <https://youtu.be/QvUKcHonCHw>]. De los vídeos disponibles se obtuvieron 6000 imágenes representativas de diferentes niveles de afectaciones por CO_2. Para generar los datos de entrada, se simuló artificialmente el gas, usando el software de procesamiento gráfico de código abierto Blender, formando imágenes de entrada con dimensiones de 512×512 pixeles.




 §.§ Métricas


Para tener una visión del desempeño del método propuesto en este trabajo se evalúan los resultados empleando métricas ampliamente utilizadas en la literatura: la Proporción máxima de señal a ruido PSNR y el índice de similitud estructural SSIM, enseguida se explicarán brevemente estos conceptos:
 



  * La Relación Señal a Ruido de Pico o PSNR (del inglés Peak Signal-to-Noise Ratio) es una medida cuantitativa de la calidad de una reconstrucción <cit.>. Es utilizada ampliamente en imágenes. Para definir la métrica PSNR es necesario definir el error cuadrático medio (del inglés MSE), el cuál para dos imágenes monocromas I y J de tamaño m× n se define como

    MSE=1/mn∑_i=0^m-1∑_j=0^n-1||I(i,j)-J(i,j)||^2

y el PSNR está dado por

    PSNR=10 log_10(MAX^2_I/MSE)=20 log_10(MAX_I/√(MSE))

donde MAX=2^B-1 y B es el número de Bits utilizados en la imagen. Valores altos de PSNR indican mejores restauraciones.

    

  * Índice SSIM es una métrica de similitud de imagen perceptiva que fue propuesta como alternativa al error medio cuadrático (MSE) y PSNR para aumentar la correlación con la evaluación subjetiva.
Para las imágenes originales y reconstruidas I y J, SSIM se define como

    SSIM(I,J)= (2μ_Iμ_J+C_1 )(2σ_IJ+C_2 )/(μ_I^2+μ_J^2+C_1 )(σ_I^2+σ_J^2+C_2 )

con μ, σ y σ_IJ, como la media la varianza y la covarianza de las imágenes, respectivamente.





 §.§ Método propuesto

El método propuesto está basado en el supuesto que una red neuronal GAN tiene un mejor rendimiento en tanto su entrada sea más parecida a su salida esperada. Entonces al aplicar el canal oscuro previamente a entrenar la red neuronal, el rendimiento de la red neuronal se verá incrementado. Para realizar un análisis del rendimiento del enfoque propuesto, tres experimentos fueron propuestos:

    
  * Técnica basada en el canal oscuro. Como se ha comentado previamente el canal oscuro ha dado excelentes resultados en tareas de dehazing, no obstante el problema abordado es distinto  ya que la atmósfera no es homogénea por lo que ya no existe una relación entre el canal oscuro y la distancia de los objetos. Sin embargo la distancia (d(x)) de la cámara al cuerpo humano es depreciable, por tanto aqui el canal oscuro tiene una correspondencia directa con el coeficiente de dispersión β. Es entonces que el canal oscuro tiene tambien validez para este problema. Describiendo lo anteriormente mencionado de forma explícita, tenemos que:

    
    De (<ref>) tenemos que la relación entre el canal oscuro y la transmisión es como sigue
    
    t(x,y)=1-ω I^dark(x,y).

    Luego, sustituyendo (<ref>) en (<ref>) y considerando además que la atmósfera no es homogénea, se obtienen diferentes coeficientes de dispersión para cada elemento (x,y) como sigue
    
    e^-β(x,y) d(x,y)=1-ω I^dark(x,y).

    Por tanto se sigue que
    
    I^dark(x,y)=1-e^-β(x,y) d(x,y)/ω.

    Luego, suponiendo la distancia del cuerpo  constante y ω=1, esto es
    
    I^dark(x,y)=1-e^-dβ(x,y),

    podemos concluir que la relación del canal oscuro con la transmisión esta en función ahora del coeficiente y densidad de partículas β en cada uno de los píxeles, resultando útil para la eliminación de los efectos.

    En la Figura <ref> se muestra detalles del método basado en el DCP implementado.
    
    
    
    
    
  * Utilizando la red Neuronal Generativa Antagónica propuesta. Se muestra un diagrama de la red neuronal utilizada en la Figura <ref>. En las Tablas <ref> y <ref> se  muestra  la  arquitectura  y  los  hiper-parámetros del generador y discriminador empleado. Como función de optimización en la red neuronal se empleo el Momentum Adaptable (ADAM). Este algoritmo es una extensión del descenso de gradiente estocástico para actualizar los pesos de red de forma iterativa en función de los datos de entrenamiento, recientemente ha visto una adopción más amplia para aplicaciones de aprendizaje profundo en visión por computadora y procesamiento de lenguaje natural. Como métrica de pérdida se utiliza MSE que es el promedio del error al cuadrado este se usa como la función de pérdida para la regresión.
    
    
  * Usando una combinación de los enfoques antes mencionados, en donde las imágenes de entrada en la Figura <ref>, son las imágenes de salida J de la Figura <ref>. La evaluación del desempeño para cada caso es representado en la Figura <ref>.


















    






En la Figura <ref> se muestra la metodología propuesta para evaluar el desempeño de las tres configuraciones mencionadas.







 §.§ Configuración de los experimentos

Los experimentos fueron realizados sobre una computadora con un procesador Ryzen Threaddriper 1900, 128 Gb de memoria Ram y una tarjeta Gráfica Nvidia RTX 2080 Ti, usando Linux Ubuntu 18.10, Python 3.5, Librerias OpenCV 3.3 y Keras 2.1.0.



§ RESULTADOS





 §.§ Comparación cuantitativa


En la Figura <ref> y <ref> se muestra la comparación de las métricas SSIM y PSNR para los métodos DCP, GAN y DCP-GAN. La primera observación importante en estas figuras es la mejora significativa de los métodos GAN y DCP-GAN, frente a la reconstrucción basada únicamente en DCP, el cual alcanzó valores de SSIM=0.75 y PSNR=20.71, mientras GAN alcanzó valores de SSIM=0.88 y PSNR=24.79. En cuanto al desempeño entre GAN y DCP-GAN, se obseva que la métrica de PSNR fue ligeramente superior para DCP-GAN, con un valor PSNR=25, frente a PSNR=24.79 logrado por GAN. En el caso de la métrica SSIM, GAN obtuvo un valor medio de SSIM=0.88 frente a SSIM=0.87 de DCP-GAN. Teniendo en cuenta la definición de SSIM, diseñada para medir parámetros perceptuales propios del ojo humano, este resultado podría deberse a una saturación generada por la etapa DCP. 

















§ CONCLUSIONES

En este articulo fue propuesto un método para mejorar la reducida visibilidad en imágenes laparascopicas causada por la obstrucción visual debido al gas CO_2 suministrado durante cirugías. El método propuesto está basado en la combinación de dos etapas, la primera de ellas está centrada en el concepto de canal oscuro, con el cual se logra aumentar la visibilidad, posteriormente y en la segunda etapata se agrega un procesamiento utilizando una red generativa antagónica GAN. El método propuesto es capaz de reducir influencia del CO_2 en la imagen de salida y recuperar la gama de colores original, obteniendo una visión mas aproximada a la imagen real. Esta combinación de técnicas ha mostrado tener un alto desempeño en la reconstrucción de las imágenes objetivo, lo anterior de acuerdo a las métricas PSNR e índice SSIM usadas en el presente trabajo. 

Como trabajo futuro, se espera mejorar el comportamiento de la GAN al agregar una función de pérdida especialmente diseñada a la resolución del problema expuesto. Por otra parte se plantea hacer una búsqueda exhaustiva de los parámetros en el modelo de dispersión con el fin de ajustar la etapa de preprocesamiento en la entrada de la GAN. Así mismo, se espera optimizar la red para aplicaciones en tiempo real. Se continuará trabajando con médicos cirujanos a fin de proponer una solución en tiempo real que elimine el efecto visual del CO_2 en el vídeo captado por los médicos cirujanos.





























§ AGRADECIMIENTOS


Hugo Alberto Moreno desea agradecer especialmente al CONACYT (Consejo Nacional de Ciencia y Tecnología) por el apoyo financiero brindado para sus estudios de maestría.

Los autores agradecen al médico Luis Alberto Tavares-de la Paz, Cirujano Oncólogo del Hospital Regional de Alta Especialidad del Bajío en León Guanajuato, por proporcionar el vídeo utilizado en los experimentos presentados en este trabajo.











ieeetr 












[

    < g r a p h i c s >
]Sebastián Salazar-Colores received his B. S. degree in Computer Science from Universidad Autónoma Benito Juárez de Oaxaca, received his M. S. degree in Electrical Engineering at Universidad de Guanajuato. He is a PhD candidate in Computer Science at the Universidad Autónoma de Querétaro. His research interest are image processing and computer vision. 


[

    < g r a p h i c s >
]Hugo Moreno Jiménezreceived the Robotics Engineering degree in 2016 at the Universidad Politécnica del Bicentenario in Mexíco. Currently is studying his M.S. degree in optomecatronic at Centro de Investigaciones en Optica A.C His research interest is related to digital image and automation.


 [

    < g r a p h i c s >
]
Gerardo Flores received the B.S degree in Electronic Engineering with honors from the Instituto Tecnológico de Saltillo, México in 2000; the M.S. degree in Automatic Control from CINVESTAV-IPN, Mexico City, in 2010; and the Ph.D. degree in Systems and Information Technology from the Heudiasyc Laboratory of the Université de Technologie de Compiègne - Sorbonne Universités, France in October 2014. From November 2014 to July 2016, he was a post-doctoral researcher with the Centro de Investigación y de Estudios Avanzados del Instituto Politécnico Nacional, Mexico City. Since August 2016, he has been full time researcher and Head of the Perception and Robotics LAB with the Center for Research in Optics, León Guanajuato, Mexico. His research interests are focused on the theoretical and practical problems arising from the development of autonomous robotic systems and vision systems. He is especially interested in: artificial vision, theory and applications of intelligent systems, nonlinear control, design, conception and control of UAVs.Dr. Flores has published 40 papers in the areas of control systems, computer vision and robotics. He has been member of the Sistema Nacional de Investigadores since 2014.



[

    < g r a p h i c s >
]César Javier Ortizreceived the Electronic Engineering grade in 2009 at the Universidad del Quindío in Colombia. In 2015 received the M.Sc degree in material science from the same institution. Currently is a Ph.D. candidate of computer science at the Universidad Autónoma de Querétaro. His research interest is related to digital image, and signal processing mainly focused on biomedical applications.



