Extraction of quantitative information from microscopy images

Extracción de información cuantitativa a partir de imágenes de microscopía

 

Félida Roa, José Reinaldo García, Antonio Bravo

Coordinación de Investigación Industrial, Decanato de Investigación, Universidad Nacional Experimental del Táchira. Av. Universidad, Paramillo, San Cristóbal 5001, Venezuela. Telef: +58(276)3530422. feroa@unet.edu.ve , rheineo@gmail.com , abravo@unet.edu.ve

Abstract

In this paper, the quantitative information extraction problem contained in microscopy images is considered. Particularly, the bacteria images are assessed in order to produce bio-fertilizer, and emulsions image sequences used for the stability study are analyzed. The proposed methodology consists of three consecutive steps: 1) pre-processing for the image information enhancement; 2) segmentation of the enhanced image by applying the Watershed transformation; 3) images characterization using a template matching procedure. The results are analyzed by comparing the estimates results with respect to the results manually obtained by experts in the area and values provided in the literature.

Keywords: Segmentation, Watershed transform, bacteria, emulsions, confocal microscope images.

Resumen

En el presente artículo se considera el problema de extracción cuantitativa de información contenida en imágenes de microscopía. Particularmente, se valoran imágenes de bacterias usadas en la producción de bio-fertilizantes, y secuencias de imágenes de emulsiones utilizadas para el estudio de su estabilidad. La metodología propuesta consiste en tres pasos consecutivos: 1) pre-procesamiento para el realce de la información contenida en las imágenes; 2) segmentación de las imágenes realzadas mediante la aplicación de la transformada Watershed; 3) caracterización de las estructuras bajo estudio usando un procedimiento de correspondencia de plantillas. Los resultados obtenidos son analizados al comparar las estimaciones realizadas con respecto a la información extraída manualmente por parte de expertos en el área y lo previsto en la literatura especializada.

Palabras Clave: Segmentación, transformada Watershed, bacterias, emulsiones, imágenes de microscopía confocal.

Recibido el 18 de Marzo de 2016 En forma revisada el 27 de Marzo de 2017

Introducción

El análisis de imágenes se define como una secuencia de procesos utilizados para la identificación, cuantificación y reconocimiento de los elementos más importantes de una escena digital [1]. En diversos estudios, este análisis se usa en la clasificación de elementos y en el registro del comportamiento de variables útiles para comprender fenómenos biológicos, químicos o físicos. Particularmente, en biología se pueden identificar las formas de los organismos a objeto de caracterizar fenómenos evolutivos; en química y física es posible caracterizar procesos emulsificantes con la finalidad de estudiar sus propiedades. Generalmente, los estudios en biología se relacionan con los microorganismos; organismos que solamente pueden ser observados a través del microscopio [2].

Algunos microorganismos (bacterias y hongos) son usados en la producción de bio-fertilizantes, los cuales son componentes ecológicos que proveen a las plantas los nutrientes requeridos [3], y que permiten la sustitución parcial o total de fertilizantes sintéticos que causan contaminación a la tierra, agua y comida.

Los procesos de investigación con microorganismos requieren un alto número de observaciones visuales sobre las imágenes obtenidas con el microscopio. El proceso de caracterización de bacterias es un ejemplo de ello. Este proceso es lento y produce resultados con errores significativos debido a la cantidad de observaciones necesarias para analizar una muestra. Este proceso se puede automatizar utilizando un sistema de procesamiento de imágenes [4].

En el área de la química se realizan estudios para caracterizar emulsiones y determinar su estabilidad. Una emulsión es un sistema inmiscible de dos fases, donde una de ellas se encuentra dispersa como pequeñas gotas en la otra. Las emulsiones contienen un tercer componente llamado agente emulsificador cuya función es estabilizar la fase dispersa. La estabilidad de las emulsiones depende del tamaño y de la distribución del tamaño de las gotas [5]. Generalmente la estabilidad se relaciona con la persistencia o el decaimiento del sistema dispersado en ciertas circunstancias. Una emulsión es estable cuando su aspecto no cambia en un período específico [6]. Un método para medir la estabilidad de las emulsiones es analizar secuencias de muestras para determinar cuándo el tamaño promedio de la gota y/o su distribución cambia. La emulsión con gotas de pequeños tamaños es más estable [7]. El tamaño de las gotas puede ser medido por técnicas como reflectancia, densidad óptica, turbidez y microscopía [6]. La microscopía permite el análisis de gotas en una muestra a partir de su imagen digital; es la técnica más económica [8].

Una de las técnicas de análisis de imágenes que permite identificar las regiones de interés en cualquier escena digital es la segmentación. Dicha técnica identifica las regiones que tienen una alta correlación con los objetos o formas reales contenidas en la imagen, mediante la similitud que presenten estas regiones en propiedades como intensidad asociada a los píxeles, las relaciones topológicas y las características de sus contornos [9]. Diversos algoritmos de segmentación han sido propuestos en la literatura, agrupados en cinco enfoques principales: técnicas de umbralización [10], técnicas de detección de contornos [11], técnicas de identificación de regiones [12], técnicas de agrupamiento [13], y técnicas híbridas [14]. Revisiones de métodos de segmentación de imágenes se encuentran en [15,16].

Con la aplicación de la segmentación de imágenes se pueden identificar de forma automática las regiones que en la imagen de microscopía representan bacterias o gotas de emulsiones (objetos bajo estudio). Es por ello que en este trabajo se propone desarrollar un procedimiento automático único a partir de los trabajos reportados en [4] y [8] que permita la caracterización de las estructuras de interés existentes en imágenes obtenidas mediante un microscopio digital.

Metodología

La metodología propuesta para extraer cuantitativamente la información contenida en imágenes de microscopía, consta de las tres fases (ver figura 1) que se describen a continuación.

1. Pre-procesamiento para el realce de las imágenes

En esta etapa se utilizan filtros específicos con el objeto de mejorar la calidad de las imágenes adquiridas a través del microscopio.

1.1. Bacterias

En este caso se utilizan 4 filtros útiles para: homogeneizar el fondo, realzar los bordes, sustraer el fondo y suavizar la imagen, con la finalidad de equilibrar los tonos de grises asociados a los píxeles correspondientes al fondo de la imagen y resaltar las bacterias que son muy tenues o que tienen bordes poco diferenciados.

a. Filtro de homogeneización de fondo

En las imágenes de bacterias se requiere diferenciar la información que corresponde a microorganismos de la que corresponde a fondo. Para ello se utiliza una tabla de búsqueda ( look-up table , LUT) [9], la cual se construye de la siguiente manera:

Filtro de realce de bordes

Este filtro tiene como finalidad destacar los bordes de las bacterias que tienden a confundirse con el fondo debido tanto a problemas de luminosidad en la captura como a problemas de pigmentación de la muestra. Este filtro utiliza operadores basados en gradientes, específicamente el operador de gradiente consistente descrito por Ando [17].

b. Filtro de sustracción de fondo

La implementación utilizada se basa en el algoritmo de la Bola Rodante ( Rolling Ball ) descrito por Sternbergs [18].

c. Filtro de suavizamiento

El filtro de suavizamiento aplicado sustituye el valor de cada píxel ( i,j ) en la imagen original, por la correspondiente media aritmética calculada con los valores de los píxeles pertenecientes a una vecindad vn×vn centrada en dicho píxel [9].

Emulsiones

Para el caso de las emulsiones, se utilizan 3 filtros: reescalamiento de amplitud, desplazamiento de píxeles y difusión anisotrópica; con el fin de disminuir la distorsión, aumentar la calidad de la imagen y atenuar los elementos innecesarios para el estudio.

1.2. Filtro de reescalamiento de amplitud

Este filtro aplica una transformación lineal a los valores de la intensidad de los píxeles de la imagen de entrada. La transformación lineal se define en términos de los valores mínimo y máximo que la imagen de salida debe tener [19].

a. Filtro de desplazamiento de píxeles

Este filtro a través del uso de un factor de multiplicación aplica una transformación lineal a las intensidades de los píxeles de la imagen de entrada [19].

b. Filtro de difusión anisotrópica

Este filtro se fundamenta en la transformación de la imagen como una función de sus derivadas en un espacio de mayor dimensión [20]. Este nuevo espacio representa la solución de la ecuación de calor (ecuación 5).

2. Segmentación de las imágenes

El proceso de segmentación se lleva a cabo en dos pasos, en el primero se aplica la transformada Watershed y en el segundo se realiza una optimización a la imagen segmentada.

2.1. Aplicación de la transformada Watershed

La transformada Watershed se clasifica como un tipo de segmentación basada en regiones. Este método considera la imagen como un paisaje o relieve topográfico inundado con agua; el paisaje es dividido en regiones o cuencas separadas por diques denominados líneas de cuencas hidrográficas ( Watersheds ). Como método para segmentar las imágenes de microscopía se usa la implementación del Watershed basada en el algoritmo de simulación de inmersión propuesto por Vincent y Soile [21]. Esta implementación considera la magnitud del gradiente de la imagen como una superficie topográfica. Como resultado de esta segmentación se obtiene lo siguiente: 1) una imagen binaria con los objetos en color negro y el fondo en color blanco (se identifica como o bjeto ), 2) una imagen binaria con los bordes de los objetos en color negro y el fondo en color blanco (se identifica como contorno ) y finalmente, 3) una imagen con las cuencas etiquetadas por colores aleatorios (se identifica como cuenca ). Para la etapa de caracterización de las muestras bacterianas se usan las imágenes objeto y contorno generadas por el algoritmo de inmersión y para la caracterización de las emulsiones se requiere la imagen cuenca generada por este mismo algoritmo.

2.2. Optimización de la imagen segmentada

El proceso de segmentación de la imagen culmina con la aplicación de un procedimiento que permite obtener la imagen segmentada de forma binaria. Para el caso de las muestras de bacterias la unión de las imágenes objeto y contorno generadas, origina una nueva imagen, a la cual se le aplica una máscara de tamaño n×m ; si la cantidad de píxeles negros en esta ventana es menor que un umbral predefinido , todos los píxeles en la ventana cambian a negro, de lo contrario, todos los píxeles en la ventana mantienen su color. Los valores de n , m y fueron fijados heurísticamente con los valores 3, 5 y 9, respectivamente. El resultado es una imagen binaria con las bacterias. Para el caso de las muestras de gotas de emulsiones a la imagen cuenca generada por el algoritmo Watershed se le aplica la técnica de binarización basada en umbrales adaptativos [9]. El resultado es una imagen binaria con las gotas de emulsiones.

3. Caracterización de las estructuras bajo estudio

Con el propósito de identificar las bacterias o las gotas presentes en una imagen, se utiliza la técnica de comparación de plantillas ( template matching ). Esta técnica consiste en determinar la correspondencia entre plantillas de tamaño a×b con los objetos segmentados en una imagen [22]. Las plantillas se construyen a partir de las formas de los objetos de interés (circulares y ovaladas) considerando varios tamaños y orientaciones. El algoritmo compara regiones de la imagen binaria obtenida en la segmentación (ventanas de estudio) con cada plantilla. Una métrica que determina la similitud entre una región de la imagen y la plantilla (ecuación 6) se utiliza para decidir si esa región se acepta como bacteria o como gota. donde

3.1. Determinación de forma

Debido a que la forma de las gotas es conocida (circular), no se realiza algún procedimiento para la determinación de esa forma. Sin embargo, las bacterias presentan diferentes formas: esféricas o cilíndrica, por tanto para este caso se usa la forma de las plantillas del template matching para identificar su morfología.

3.2. Determinación de tamaño

Para calcular el tamaño de las bacterias y gotas se realizan los siguientes procedimientos:

a. Bacterias: El tamaño de las bacterias presentes en una imagen se obtiene mediante el siguiente procedimiento: Se fija un píxel cualquiera perteneciente a una bacteria y se calcula la distancia máxima existente entre dicho píxel y cada uno de los píxeles pertenecientes a esa misma bacteria (ecuación 7). Este procedimiento se repite dejando fijo cada píxel de una bacteria; la distancia mayor obtenida representa el tamaño de esa bacteria. La distancia existente entre dos píxeles pertenecientes a la misma bacteria se calcula aplicando la ecuación de la distancia euclidiana.

donde es el tamaño de la bacteria i , d es la distancia entre el píxel fijo de la bacteria i y cualquier otro pixel de la bacteria i , numpixel es el número de píxeles que contiene la bacteria i , numbacteria es el número total de bacterias en una imagen. Para . El tamaño promedio de las bacterias de una imagen se calcula a partir de los tamaños calculados.

b. Gotas: El tamaño de la gota se determina como el diámetro en píxeles de su patrón circular. A partir de los tamaños de las gotas calculados se obtiene el tamaño promedio de las gotas de una emulsión.

Los tamaños promedios calculados en ambos casos están expresados en píxeles, por lo tanto es necesario determinar la equivalencia de píxeles con micras (μ = 10 -3 mm). Para obtener esta equivalencia, se utiliza una imagen adquirida igualmente a través de microscopía, que contiene un patrón de calibración con dimensiones en μ conocidas.

Resultados y discusión

Para probar la metodología propuesta para la extracción cuantitativa de información a partir de imágenes de microscopía de bacterias y emulsiones se propusieron 5 experimentos (tabla 1). Las imágenes originales de las muestras de bacterias y emulsiones correspondientes a estos 5 experimentos se presentan en la figura 3. En las figuras 3a, 3b y 3c se observan las muestras de bacterias y en las figuras 3d y 3e se observan las muestras de las emulsiones.

1. Pre-procesamiento para el realce de las imágenes

1.1. Bacterias

Como se observa en la tabla 1, los experimentos 1, 2 y 3 corresponden a las muestras bacterianas. En las figuras 4a, 5a y 6a se presentan los resultados de aplicar la técnica de homogeneización. En dichas figuras se observa que esta técnica permite nivelar los tonos correspondientes al fondo y a las bacterias, lo que facilita su visualización.

 

El resultado del filtrado para realzar los bordes de las imágenes de los experimentos 2 y 3, se observa en las figuras 5b y 6b, respectivamente. Este filtro resaltó los cambios bruscos existentes en las imágenes lo cual favorece la segmentación. Debido al alto contraste que presenta la imagen del experimento 1, no se aplicó el filtro de realce de contornos, evitando un gasto computacional innecesario.

 

Los resultados de aplicar el filtro de sustracción de fondo a las imágenes realzadas de los experimentos 2 y 3 (figuras 5b y 6b) se muestran en las figuras 5c y 6c. Para el caso del experimento 1 este filtro se aplicó directamente a la imagen de la figura 4a, cuyo resultado se muestra en la figura 4b. Finalmente, en las figuras 4c, 5d y 6d se aprecia el suavizado de bordes realizado, identificado por la aparición de borrosidad en la imagen.

1.2 Emulsiones

Los resultados correspondientes al pre-procesamiento realizado a las imágenes de emulsiones (experimentos 4 y 5) se presentan en la figura 7. La figura 7a y 7b muestran el resultado de aplicar a la imagen original del experimento 4 y 5 los filtros de reescalamiento de amplitud y desplazamiento de pixeles, respectivamente.

2. Segmentación de las imágenes

A las imágenes obtenidas en la fase anterior (figuras: 4c, 5d, 6d, 7a y 7b) se le aplica la transformada Watershed. Los resultados son mostrados en la figura 8. Debido a sus características la segmentación determina zonas que no corresponden a bacterias (figura 8c) en la muestra bacteriana del experimento 3, por lo que no se puede concluir el proceso.

 

Pre-procesamiento.

3. Caracterización de las estructuras bajo estudio

Los resultados obtenidos al aplicar el procedimiento de comparación de plantillas a las imágenes segmentadas de los experimentos 1, 2, 4 y 5, figuras: 8a, 8b, 8d y 8e, respectivamente, se pueden observar en la figura 9. En la figura 9a y 9b las bacterias se encuentran identificadas por colores y en las figuras 9c y 9d se observan las gotas de emulsiones encontradas, marcadas con rectángulos.

Los resultados arrojados por el procedimiento automático para el cálculo de la cantidad y tamaño promedio de las estructuras en estudio localizadas en las imágenes de los experimentos 1, 2, 4 y 5 se presentan en la tabla 2.

En cuanto a la caracterización de las estructuras, en los experimentos 1 y 2 se determina que la forma de las bacterias es circular (cocos) y cilíndrica (bacilos), respectivamente. Estas formas de las bacterias se corresponden con la forma de las plantillas construidas para analizar cada microorganismo. Los tamaños medios estimados a partir de las imágenes procesadas se encuentran en los rangos reportados en la literatura, el tamaño de los cocos se estima entre 0,4 μ y 0,5 μ; y el tamaño de los bacilos (eje mayor) entre 0,5 μ y 20 μ [23].

Para los experimentos 4 y 5 se analiza la estabilidad de las emulsiones estudiadas. Al considerar los resultados obtenidos en el experimento 4 se observa que el promedio de los tamaños de la gota es de 3,97 μ con una desviación estándar de ±0,4479 μ por lo cual se dice que su tendencia es ser estable. En el experimento 5 el promedio de tamaño de gotas es de 5,835 μ con una desviación estándar de ±3,086 μ, por lo que puede concluir que esta emulsión es inestable, debido a que las gotas están creciendo durante el tiempo (desviación estándar mayor a l). Estos resultados se corresponden con lo contemplado en la literatura.

Conclusiones

Se ha propuesto un método automático único para la caracterización de bacterias y la estabilidad de emulsiones. El método propuesto ha sido probado usando imágenes reales de muestras de bacterias y emulsiones obtenidas a través del microscopio. Los filtros utilizados para pre-procesar estas imágenes permiten corregir las inhomogeneidades generadas durante el proceso de adquisición de dichas muestras. La técnica de segmentación permite discriminar la información de las bacterias y gotas con respecto al fondo, debido a que la transformada Watershed es una técnica de segmentación multiobjeto.

Los resultados arrojados por el método de caracterización propuesto para el caso de las muestras bacterianas se corresponden con las estimaciones realizadas de forma manual y lo considerado en la literatura especializada. En el caso de las emulsiones, para las muestras con tendencia a ser estable los tamaños de las gotas calculados por el método mostraron que las mismas no crecieron durante el tiempo, por el contrario en los tamaños de gotas obtenidos por el método para las muestras con tendencia inestable se observó una variación progresiva, resultados que concuerdan con lo previsto en la literatura especializada.

Agradecimiento

Este trabajo fue realizado gracias al apoyo del Decanato de Investigación de la Universidad Nacional Experimental del Táchira, San Cristóbal, Venezuela.

Referencias Bibliográficas

[1] Rangayyan R. M.: "Biomedical Image Analysis", CRC Press, 2004.         [ Links ] 

[2] Tortora G., Funke B., y Case C.: “Microbiology An Introduction”, Benjamin Cummings, 2012.

[3] Kannaiyan S.: “Biotechnology of Biofertilizers”, Springer, 2002.

[4] Roa, F., Bravo, A., y Valery, A.: “Automated characterization of bacteria in confocal microscope images”. Computer Vision and Pattern Recognition Workshops, 2008. CVPRW ‘08. IEEE Computer Society Conference on, Vol. 1, (2008) 1-8.

[5] Shinji S., Mitsutoshi N., y Minoru S.: “Prediction of droplet diameter for microchannel emulsification”. Langmuir, Vol. 18, No. 10 (2002) 3854–3859.

[6] Salager J. L.: “Emulsion properties and related know- how to attain them”. Pharmaceutical Emulsions and Suspensions, CRC Press, USA (2000).         [ Links ]

[7] Rosen M.: “Surfactants and Interfacial Phenomena”, John Willey and Sons, New York, 1978.         [ Links ]

[8] Vazquez Y., Bravo A., Mantilla J. y Alayon M.: “Automatic approach for emulsions stability assessment in microscope images,” 2008 Digital Image Computing: Techniques and Applications, Vol. 1, (2008) 162-167.

[9] Gonzalez R. y Woods R.: “Digital image processing”, Prentice-Hall, Inc , New Jersey, 2002.

[10] Quiao Y., Hu Q., Qian G., Luo S., Nowinski W.: “Thresholding based on variance and intensity contrats”. Pattern Recognition, Vol. 40, No. 2 (2007) 596-698.

[11] Vera M., Bravo A. y Medina R.: “Myocardial border detection from ventriculograms using support vector machines and real-coded genetic algorithms”. Computers in Biology and Medicine, Vol. 40, No. 4, (2010) 446-455.

[12] Pichel J., Singh D., y Rivera F.: “Image segmentation based on merging suboptimal segmentations”. Pattern Recognition Letters, Vol. 27, No. 10 (2006) 1105-1116.

[13] Bravo A. y Medina M.: “An unsupervised clustering framework for automatic segmentation of left ventricle cavity in human heart angiograms”. Computerized Medical Imaging and Graphics, Vol. 32, No. 5 (2008) 396-408.

[14] Bravo A., Clemente J., Medina R., Vera M., y Ávila J. “A hybrid boundary-region left ventricle segmentation in computed tomography”, International Conference on Computer Vision Theory and Applications, Vol. 1, (2010) 107-114.

[15] Zhang Y.J.: “Evaluation and comparison of different segmentation algorithms”. Pattern Recognition Letters, Vol. 18, No. 10 (1997) 963-974.

[16] Pal M. y Pal S.: “A survey on image segmentation techniques”, Pattern Recognition, Vol. 26, No. 9 (1996) 1277-1294.

[17] Ando S.: “Consistent gradient operators”. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No 3 (2000) 252-265.

[18] Sternbergs S.: “Biomedical image processing”. Computer, Vol. 16, No. 1 (1983) 22-34.

[19] Johnson H., McCormick M., Ibánez L. y The Insight Software Consortium, “The ITK Software Guide”, Third Edition, December, 2013.

[20] Meijering H.: “Image enhancement in digital X–ray angiography,” Ph.D. dissertation, Utrecht University, Netherlands, 2000.         [ Links ]

[21] Vincent L. y Soile P.: “Watershed in digital spaces: An efficient algorithm based on immersion simulations”. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 13, No. 6 (1991) 583-598.

[22] Lin Y. y Chunbo X.: “Template matching algorithm based on edge detection” Computer Science and Society (ISCCS). Vol. 1 (2011) 7-9.

[23] Stanier R., Ingraham J., Wheelis M., y Painter P.: “The Microlobial World”. Prentice Hall, Englewood Cliffs, 1986.