Fault diagnosis based on multivariate statistical techniques
Oscar Camacho, Delfina Padilla y José L. Gouveia
Postgrado en Automatización e Instrumentación, Universidad de los Andes. Mérida, Venezuela. Fax: +58-274-2402872. ocamacho@ula.ve, pdelfina@ula.ve, gouveia@ula.ve
Abstract
In this paper, multivariate statistical techniques such as Fisher Discriminant Analysis and Generalized Discriminant Analysis are utilized for fault diagnosis in an industrial process. The pair-wise FDA analysis is used to identify the fault, which determines the most related variable with the present fault. Therefore, the FDA is proposed to classify linearly separable faults and the GDA to classify faults where a nonlinear classifier is needed. A new procedure to study faults is proposed which include wavelet analysis in the extraction phase, to reduce and decorrelate the data. A continuous stirred tank reactor was simulated in presence of typical faults in order to study the proposed method.
Diagnóstico de fallas utilizando técnicas estadísticas multivariantes
Resumen
En este trabajo se usan técnicas estadísticas multivariantes tales como el Análisis Discriminante de Fisher FDA y el Análisis Discriminante Generalizado GDA para realizar el diagnóstico de fallas en un proceso industrial. La identificación de las fallas se realiza por medio del Análisis de pares FDA, que permite seleccionar las variables más relacionadas con la falla. Por tanto, para el diagnóstico de las fallas se propone el FDA en la clasificación de las fallas linealmente separables y el GDA para clasificar fallas donde la data requiere de un clasificador no lineal. Se propone un nuevo procedimiento para el estudio de las fallas, éste se incluye en la etapa de extracción, y se realiza por medio del análisis Wavelet, para decorrelacionar y reducir la dimensión de la data. Un tanque de reacción no isotérmico agitado continuamente fue usado mediante simulación en presencia de fallas típicas, para estudiar las bondades del método propuesto.
]]>
Palabras clave: Diagnóstico de fallas, análisis discriminante de Fisher, análisis discriminante generalizado, análisis Wavelet.
Recibido el 19 de Junio de 2006 En forma revisada el 02 de Julio de 2007
1. Introducción
Los métodos de detección y diagnóstico de fallas basados en data histórica son los más aplicados en las industrias de procesos, debido a que son fáciles de implementar, no necesitan un modelo matemático del proceso y requieren poco conocimiento a priori del proceso y las fallas [1]. El desarrollo de la instrumentación digital, las redes industriales y los sistemas de control SCADA y Control Distribuido, permiten almacenar un gran volumen de data de los procesos industriales. Esta data puede ser aprovechada para desarrollar sistemas de detección y diagnóstico de fallas; generando, a partir de esta información, patrones que permitan identificar condiciones similares de falla.
En los métodos basados en data histórica, la detección y diagnóstico de fallas se realiza mediante el procesamiento de un gran volumen de ella. Debido a esto, existen varias maneras en que la data pueda ser trasformada y presentada como un conocimiento a priori para el sistema de diagnóstico. La primera etapa para realizar esta tarea es conocida como extracción de características, la cual puede ser cualitativa o cuantitativa [2]. Los sistemas expertos, los métodos basados en lógica difusa y los análisis de tendencia cualitativos son ejemplos de métodos de extracción cualitativa. Para el caso de métodos de extracción cuantitativa, en la literatura aparecen ampliamente usadas las redes neuronales y las técnicas estadísticas [3-9]. Técnicas estadísticas tales como el Análisis de Componentes Principales (PCA) [3 6], Mínimos Cuadrados Parciales (PLS) [3, 7], el Análisis Discriminante de Fisher (FDA) [3, 8], el Análisis de Variables Canónicas (CVA) [3] y el Análisis de Componentes Independientes (ICA) [9] han sido aplicadas en la detección y diagnóstico de fallas con anterioridad. FDA es un método lineal para clasificar múltiples clases y permite reducir la dimensionalidad de la data. Ha sido aplicado con éxito en el diagnóstico de fallas, mostrando superioridad sobre PCA, PLS y CVA [3]. La reducción de dimensionalidad es útil cuando el número de variables medidas en el proceso es grande mientras que el número de observaciones sea pequeño, hecho que es muy común en las industrias de procesos actuales, donde se mide y almacena gran cantidad de variables. Los resultados con FDA muestran superioridad respecto a PCA [10].
El uso de la transformada Wavelet ha sido investigado en los últimos años, debido a su habilidad de decorrelacionar data autocorrelacionada [11]. Los coeficientes Wavelet proveen información compacta acerca de una señal en diferentes localizaciones de tiempo y frecuencia, lo que permite también reducir la dimensionalidad de la data, pero en este caso en la dirección del tiempo, a diferencia del FDA que lo hace en la dirección de las variables. En este trabajo no se realizará una explicación teórica de la misma, por lo que se recomienda a los lectores interesados consultar [12].
Para el caso de que la data requiere de un clasificador no lineal se propone el uso del Análisis Discriminante Generalizado (GDA), también llamado Análisis Discriminante Linear Kernel (KLDA), el cual ha sido aplicado con éxito en la clasificación de patrones, obteniéndose buenos resultados en la clasificación de semillas y las flores Iris de Fisher [13]. También ha mostrado superioridad ante otras técnicas como el Análisis de Componentes Principales Kernel (KPCA) y el Análisis de Componentes Independientes Kernel (KICA) en el reconocimiento de voz [14]. La comprobación de la eficacia de esta técnica en diagnóstico de fallas es una de las motivaciones de este trabajo.
2. Breve Descripción de los Métodos
En esta sección se muestra una explicación resumida de los diferentes métodos estadísticos que fueron aplicados y el procedimiento propuesto para el estudio de las fallas.
2.1. Análisis Discriminante de Fisher (FDA)
]]>
FDA es una técnica lineal ampliamente usada para la clasificación de patrones, permite reducir la dimensionalidad de la data, es óptima en el término de maximizar la separación entre las clases y es usada para realizar la extracción de características. Esta técnica determina un conjunto de vectores FDA a partir de transformaciones lineales, con el fin de maximizar la dispersión entre las clases mientras se minimiza la dispersión de cada clase. Chiang et al. muestran una descripción matemática al respecto [3]. Dada una matriz X de dimensión n × m, correspondiente a la data de entrenamiento para todas las fallas, donde la transpuesta de la ith fila de X es el vector columna xi y definiendo Xjcomo el conjunto de vectores xi que pertenecen a la clase j, la matriz de dispersión-intra para la clase j es:
donde es el vector de media para la clase j, y c el número de clases o fallas. La matriz de dispersión-intra-clases es representada como sigue:
La matriz de dispersión-entre-clases es:
donde`x es el vector de media total, cuyos elementos corresponden a las medias de las columnas de X y njes el número de observaciones en la clase j. El objetivo del primer vector FDA j1 es maximizar la matriz de dispersión-entre-clases mientras se minimiza la matriz de dispersión-intra-clases:
El segundo vector FDA se calcula para maximizar la dispersión-entre-clases mientras se minimiza la dispersión-intra-clases entre todos los ejes perpendiculares al primer vector FDA y de la misma manera para el resto de vectores FDA. Matemáticamente se ha demostrado que los vectores FDA son iguales a los vectores propios jk del problema de valores propios generalizado:
donde los valores propios lk indican el grado de separabilidad entre todas las clases proyectando la data en jk.. Con los vectores FDA determinados, las observaciones son luego clasificadas en el espacio reducido usando Análisis Discriminante (AD).
Para el caso en que se requiere de un clasificador no lineal, el FDA ha sido generalizado a su versión Kernel. El Discriminante de Fisher Kernel (KFD) fue formulado para clasificación binaria [15], mientras que el GDA fue desarrollado para problemas multi-clases [13]. Si f: Z Î RN ® f (Z) Î F es una proyección no lineal desde el espacio original a un espacio característico de alta dimensionalidad, donde las diferentes clases pueden ser linealmente separables, SWF la matriz de dispersión de cada clase y SBF la matriz de dispersión entre las clases en el espacio característico F:
donde Ci es el número de elementos en zi.
Similarmente a FDA, GDA determina un conjunto óptimo de vectores discriminantes tal que se maximice la matriz de dispersión entre las clases mientras se minimiza la matriz de dispersión de cada clase. Asumiendo que Y = [y1,….,ym], la maximización puede ser alcanzada resolviendo el siguiente problema de valores propios:
El espacio característico F puede ser considerado como un “espacio de linealización”, sin embargo, su dimensión puede ser arbitrariamente grande y posiblemente infinita. El f(z) exacto no es necesitado ya que el espacio característico puede volverse implícito usando los métodos Kernel, donde productos punto en F son reemplazados con una función Kernel en el espacio original RN tal que la proyección no lineal es realizada implícitamente en RN [16]. En este trabajo se utilizó la función gaussiana RBF que es una de las funciones Kernel más usadas:
Con los vectores discriminantes determinados, las observaciones son luego clasificadas en el espacio reducido usando análisis discriminante.
]]>
2.3. Análisis de pares FDA
Este método propuesto en [10], permite identificar las fallas (selección de las variables más relacionadas con la falla) aplicando el análisis de pares FDA a la data en condiciones normales y la data en presencia de cada clase de falla. Al incluir sólo estas dos clases en el análisis de pares FDA y resolviendo el problema de valores propios generalizado (4) se obtendrá sólo un valor propio significativo li y una dirección de Fisher, que corresponde al vector propio ji . Se define la dirección de Fisher ji como la dirección de falla para Xi. Los pesos en ji son usados para generar el gráfico de contribución para la falla Xi, donde:
ji =[f1,f2,...fj,...fm]T (10)
El jth elemento fj corresponde a la contribución de la jth variable.
2.4. Análisis Discriminante (AD)
El diagnóstico de las fallas es realizado a partir del análisis discriminante; la clasificación de las fallas se efectúa asignando una observación a la clase o falla i, si ésta presenta el máximo valor de la función discriminante:
gi (x) > gj(x), (11)
donde gj(x) es la función discriminante para la clase j dado un vector de data x Î Rm. Usando la regla de Bayes, asumiendo que la data, para cada clase, esta normalmente distribuida y que la probabilidad a priori es la misma, la función discriminante resulta:
donde son el vector de media y la matriz de covarianza para la clase i respectivamente.
]]>
En este trabajo se propone un nuevo procedimiento para el estudio de las fallas (Figura 1); éste incluye para la etapa de detección el conocido estadístico T2 de Hotelling. Una primera etapa de extracción de características es realizada por medio del Análisis Wavelet, para decorrelacionar y reducir la dimensión de la data. El diagnóstico de fallas se efectúa en dos etapas, un primer diagnóstico por medio de FDA+AD que logra clasificar las fallas linealmente separables y una segunda etapa, para aquellas fallas que requieren de un clasificador no lineal, que incluye un paso intermedio para la identificación de las fallas por medio del Análisis de pares FDA, que permite realizar la Selección de Variables (SV) más relacionadas con la falla, siendo éstas sólo utilizadas en la segunda clasificación que se hace combinando GDA, SV y AD.
3. Caso de Estudio
Para probar el desempeño de estas técnicas estadísticas es necesario contar con una data histórica de un proceso real en presencia de fallas. Debido a que este tipo de data no se encuentra a la mano públicamente por motivo de seguridad de las empresas, muchos investigadores han optado por probar los métodos en procesos industriales simulados en computador. La data histórica fue obtenida a partir de simulaciones de un tanque de reacción isotérmico agitado continuamente (CSTR). Este proceso ha sido utilizado previamente en un buen número de publicaciones [9, 17, 18].
3.1. Descripción del proceso CSTR
El CSTR está compuesto por un tanque, una chaqueta enfriadora, un agitador, una bomba y la instrumentación tales como válvulas de control, transmisores de nivel, flujo y temperatura, así como de controladores retroalimentados del tipo PI (Figura 2).
Las variables controladas son la temperatura del reactor (T) y el nivel del tanque (h), las variables manipuladas son el flujo de alimentación del refrigerante de la chaqueta (QC) y el flujo de salida del reactor (Q). Las 14 fallas y perturbaciones mostradas en la Tabla 1 pueden encontrarse en una base de datos históricos típica de los proceso CSTR. Las fallas 4, 6, 7, 8, 9, 10, 11 y 12, pueden ser tanto positivas como negativas, resultando en un total de 22 fallas que fueron simuladas para la generación de la base de datos históricos.
3.2. Generación de la data histórica
]]>
La data histórica se generó por medio de simulación, utilizando el software Simulink del paquete Matlab. La condición normal de operación y cada una de las fallas fueron simuladas por un tiempo de 150 min, introduciendo la falla luego de transcurridos 50 min. Mediciones de 14 variables del proceso mostradas en la Tabla 2 fueron almacenadas cada 5 s, el número de observaciones generadas para cada corrida fue n=1801 para cada una de las variables (m=14).
Se generaron dos conjuntos de datas para el entrenamiento y la validación. La data de entrenamiento consistió en una corrida para el caso sin falla y para cada una de las 22 fallas. La data de validación consistió en 10 corridas para la data sin falla y para cada falla se realizaron 10 corridas donde el tamaño de la falla o perturbación para los casos 3, 5, 13 y 14 era fijo y para el resto fue cambiado aleatoriamente en un porcentaje que variaba entre el 25% al 125%, esto con el fin de probar la capacidad de generalización del sistema de detección y diagnóstico de fallas propuesto. Se realizaron en total 230 corridas para la validación, resultando un total de 414.230 puntos para cada variable. Todas las señales fueron contaminadas con ruido blanco, con el fin de simular la variabilidad presente en un proceso real, la semilla (seed) del ruido fue cambiada aleatoriamente para cada corrida.
4. Resultados y Discusión
4.1. Identificación de fallas utilizando las direcciones de falla en pares FDA
La identificación de la falla nos permite determinar las variables más relacionadas con la falla ocurrida, si al aplicar los métodos de diagnóstico sólo incluimos estas variables podemos disminuir el error de clasificación, conclusión que se muestra en los resultados más adelante. En la Figura 3 se presenta un ejemplo de la gráfica de contribución FDA para la falla 8n (cambio tipo rampa negativo en TF). Como observamos las variables que tienen una mayor contribución en el gráfico son la 1 y la 9, lo que desde el punto de vista del proceso es correcto ya que la variable 9 es precisamente la temperatura TF y la variable 1 es la concentración del reactor CA, que es afectada directamente por la variación de TF. La Figura 3 muestra también cuales fueron las variables identificadas para todas las fallas con la data de entrenamiento, seleccionando únicamente aquellas que presentaron una contribución mayor de 0,3.
4.2. Diagnóstico de las fallas utilizando FDA, GDA y análisis discriminante
Para diagnosticar o clasificar una falla mediante las técnicas estadísticas multivariables estudiadas en este trabajo, es necesario que ésta se encuentre, previamente, en una base de datos histórica, correspondiendo ésta a la data de entrenamiento del clasificador. La detección de las fallas se realizó por medio del estadístico T2 de Hotelling, que es una técnica ampliamente usada para el monitoreo de procesos multivariables [1, 3, 7], una descripción matemática detallada se puede obtener en Chiang et al. [3].
La Tabla 3 muestra el error de clasificación %ec (porcentaje de corridas que fueron clasificadas incorrectamente) y el error de clasificación individual %eci (porcentaje de las observaciones de una corrida que fueron clasificados incorrectamente) para las 22 fallas con la data de validación, aplicando AD, FDA+AD y Wavelet+FDA+AD. Para aplicar el FDA fue necesario determinar primero el número de vectores FDA, por medio de validación cruzada se obtuvo un N=12. Al aplicar el Análisis Wavelet las señales fueron reducidas temporalmente utilizando para ello, luego de un estudio exhaustivo por medio de validación cruzada, una Wavelet del tipo Daubechies 3 (db3), un nivel de descomposición igual a 1 y utilizando solamente el coeficiente de aproximación (ca) para formar el vector característico. Al incluir el FDA junto con el AD se observa como el error de clasificación disminuye considerablemente de 15% a 10%. El uso de la transformada Wavelet trae como ventaja una reducción del error de clasificación de 10% a 9,1% y una reducción de 48% de los datos, siendo este último muy importante para disminuir el tiempo de cálculo requerido para realizar la clasificación. Observamos además en la Tabla 3 que las fallas 7p, 10p-12n, fueron clasificadas incorrectamente en varios de los casos, lo que justifica el uso de un clasificador no lineal como el GDA para mejorar el error de clasificación.
]]>
Tabla 3 Error de clasificación para la data de validación
Falla
AD
FDA+AD
Wavelet+FDA+AD
Falla diagnosticada
%ec
%eci
%ec
]]>
%eci
%ec
%eci
1
0
0,0
0
0,1
0
0,0
]]>
1
2
0
1,7
0
5,4
0
5,3
2
3
]]>
100
100,0
0
23,0
0
37,4
3
4p
0
5,8
]]>
0
8,6
0
7,5
4p
4n
0
10,9
10
16,4
]]>
0
11,7
4n
5
0
27,4
0
25,3
0
26,8
]]>
5
6p
0
4,0
0
5,0
0
3,8
6p
6n
]]>
0
2,1
0
2,5
0
1,9
6n
7p
50
48,5
]]>
50
47,5
40
47,2
7p-7n
7n
0
8,3
0
11,4
]]>
0
12,5
7n
8p
0
19,1
0
13,5
0
17,0
]]>
8p
8n
0
8,1
0
7,5
0
7,7
8n
9p
]]>
0
14,3
0
22,5
0
22,5
9p
9n
0
3,6
]]>
0
5,9
0
4,7
9n
10p
40
47,4
40
42,3
]]>
40
43,6
10p-5-13
10n
40
50,4
30
42,8
40
44,7
]]>
10n-13
11p
10
11,9
10
13,2
10
13,2
11p-14
11n
]]>
30
34,7
30
35,7
30
34,9
11n-14
12p
30
43,8
]]>
30
42,1
30
41,3
12p-2
12n
30
31,3
20
29,2
]]>
10
27,5
12n-2
13
0
22,1
0
28,4
0
28,1
]]>
13
14
0
6,2
0
5,9
0
5,5
14
Promedio
]]>
15,0
22,8
10,0
19,7
9,1
20,2
Debido al gasto computacional que requiere el método GDA, no es factible realizar la clasificación de las fallas utilizando todas las posibles fallas en la data de entrenamiento, por lo que sólo se clasificó con GDA aquellas fallas que habían sido clasificadas incorrectamente previamente con la combinación de Wavelet+FDA+AD. En la Tabla 3 se observa una columna que corresponde a la falla diagnosticada, de allí se formaron los subgrupos de fallas a ser clasificados con GDA. En la Tabla 4 se muestran los 4 subgrupos que han sido formados. Se comprobó además que el uso de Selección de Variables (SV) mejora la clasificación en ambas técnicas FDA y GDA, siendo ésta realizada por medio de las direcciones de fallas en pares FDA, y seleccionando sólo aquellas variables que tenían una mayor contribución. Como se observa en la Tabla 4, el uso de la SV disminuyó el error de clasificación utilizando FDA de 8,3% a 7,5%. Para el caso del GDA observamos como el método reduce el error de clasificación a valores de 7,5% sin Selección de Variables y 5,0% con Selección de Variables. Para aquellas fallas que requieren de una segunda clasificación, por medio de SV+Wavelet+GDA+AD, se obtiene un error promedio, para las 22 fallas, de 2,7%, valor que satisface las expectativas del procedimiento propuesto.
5. Conclusiones
Se mostró la aplicabilidad del Análisis Discriminante Generalizado (GDA), para mejorar el diagnóstico de las fallas, en aquellos casos donde técnicas de clasificación lineales tales como el FDA no presentan buenos resultados. Adicionalmente, se presentó un nuevo procedimiento para la detección, identificación y diagnóstico de fallas, que incluye el uso del estadístico Hotelling para la detección de las fallas, el Análisis Wavelet para decorrelacionar y reducir la dimensión de la data.
]]>
Los resultados obtenidos en la detección y diagnóstico de fallas del proceso CSTR, comprobaron la eficiencia del algoritmo propuesto, al mejorarse los resultados con errores de clasificación bajos.
Referencias Bibliográficas
1. Venkatasubramanian, V., Rengaswamy, R., Kavuri, S., Yin, K. “A review of process fault detection and diagnosis. Part III: Process history based methods”. Comput. Chem. Eng 27: (2003). 327-346. [ Links ]
2. Venkatasubramanian, V., Rengaswamy, R., Kavuri, S. and Yin K. “A review of process fault detection and diagnosis. Part I: Quantitative model-based methods”. Comput. Chem. Eng. 27: (2003). 293-311. [ Links ]
3. Chiang, L., Russell, E. and Braatz, R. “Fault detection and diagnosis in industrial systems”. Springer-Verlag. Great Britain. (2001). [ Links ]
4. Venkatasubramanian, V., Vaidyanathan, R. “Process fault detection and diagnosis using neural networks. I. Steady-state processes”. Comput. Chem. Eng. 14: (1990). 699-712. [ Links ]
5. Zhou, Y., Hahn, J. and Mannan, M. “Fault detection and classification in chemical processes based on neural networks with feature extraction”. ISA Transactions 42: (2003). 651-664. [ Links ]
6. Kano, M., Hasebe, S., Hashimoto, I. and Ohno, H. “A new multivariate statistical process monitoring method using principal component analysis”. Comput. Chem. Eng. 25: (2001). 1103-1113. [ Links ]
7. Choi, S., Yoo, C. and Lee, I. “Overall statistical monitoring of static and dynamic patterns”. Ind. Eng. Chem. Res. 41: (2002). 4303-4317. [ Links ]
8. Chiang, L., Kotanchek, A. and Kordon, A. “Fault diagnosis based on Fisher discriminant analysis and support vector machines”. Comput. Chem. Eng. 28: (2001). 1389- 1401. [ Links ]
9. Kano, M., Tanaka, S., Hasebe, S. and Hashimoto, I. “Monitoring independent components for fault detection”. AIChE Journal. 49(4): (2003). 969-976. [ Links ]
10. He, P., Wang, J. and Qin, J. “A new fault diagnosis method using fault directions in Fisher discriminant analysis”. AIChE Journal, 51(2): (2005). 555-571. [ Links ]
11. Aradhye, H. B., Bakshi, B. R., Strauss, R. A., and Davis, J. F. “Multiscale SPC using wavelets: Theoretical analysis and properties”. AIChE Journal, 49(4): (2003). 939-958. [ Links ]
12. Burrus, C., Gopinath, C. and Guo, H. “Introduction to Wavelets and Wavelet Transform”. Prentice Hall. (1998.). [ Links ]
13. Baudat, G. and Anouar, F. “Generalized discriminant analysis using a Kernel approach”. Neural Computation, 12: (2000). 2385–2404. [ Links ]
14. Koscor, A. and Tóth, L. “Kernel-Based Feature Extraction with a Speech Technology Application”. IEEE Transactions on Signal Processing, 52(8): (2004). 2250-2263. [ Links ]
15. Mika, S., Rätsch, G., Weston, J., Schölkopf, B. and Müller, K. “Fisher discriminant analysis with kernels”. Neural Networks for Signal Processing IX, Y.-H. Hu et al., Eds. New York. IEEE, 41-48. (1999). [ Links ]
16. Juwei Lu, Plataniotis, K.N. and Venetsanopoulos, A.N. “Kernel Discriminant Learning with Application to Face Recognition”, in “Support Vector Machines: Theory and Applications”, Wang L., ed., Springer-Verlag (2005). [ Links ]
17. Johannesmeyer, M. “Abnormal situation analysis using pattern recognition techniques and historical data”. M.Sc. Thesis, University of California, Santa Barbara, CA. (1999). [ Links ]
18. Johannesmeyer, M., Singhal, A. and Seborg, D. “Pattern matching in historical data”. AIChE Journal. 48(9): (2002). 2022-2038. [ Links ] ]]>
200327327-346200327293-3112001199014699-712200342651-6642001251103-11132002414303-43172001281389- 140120034944969-976200551(2)555-571200349(4)939-95819982000122385–2404200452(8)2250-2263199941-4820051999200248(9)2022-2038
es el vector de media para la clase j, y c el número de clases o fallas. La matriz de dispersión-intra-clases es representada como sigue:
son el vector de media y la matriz de covarianza para la clase i respectivamente.
