Multistep predictive controllers based on neural network 

Jorge Alaña y Carlos Vinante 

Facultad de Ingeniería, Universidad del Zulia, Apartado Postal 15251. Maracaibo 4005, Venezuela. Tel-Fax: 0261-7598100. Email: joalana@luz.edu.ve 

Abstract 

Although the potential for modeling dynamic systems, intrinsic in the recurrent neural network arquitectures is superior to the dynamic representational capabilities of the traditional feedfoward networks, they have not been widely used for model based control of nonlinear systems; possibly due the difficulties with the training algorithms. In this paper, we present a multi step nonlinear predictive controller, using recurrent neural networks trained with a new simplified algorithm, to model nonlinear multi step predictors. The proposed controller was then evaluated using it to control a rather difficult, highly nonlinear CSTR with a first order irreversible exothermic reaction. Its performance was satisfactory in the whole range of operation, and considerably better than the one obtained with the same predictive controller structure but using as a model, for the multi step prediction, the traditional concatenated sequence of one step ahead prediction static feedfoward networks. Based on the simulation results, we also present an analysis of the effects pf penalizing the control actions on their deviations, on the closed loop steady state offsets, in the presence of imperfect predictors. 

Key words: Predictive process control, control based in neural networks, nonlinear process control, control based in recurrent neural networks. 

Controladores predictivos de pasos múltiples basados en redes neuronales 

Resumen 

En el desarrollo de controladores basados en modelos se han propuesto varios esquemas que utilizan redes neuronales, en general del tipo feedfoward. En el presente trabajo se estudia el uso de redes neuronales recurrentes en el desarrollo de algoritmos de control predictivo de pasos múltiples y se presenta un algoritmo simplificado para su entrenamiento. El desempeño del controlador propuesto se evalúa aplicándolo al control de un reactor de mezcla completa con una reacción exotérmica irreversible de primer orden. El comportamiento del controlador propuesto resulto ser satisfactorio para todas las regiones de operación del reactor, y en todos los casos fue superior al obtenido usando redes neuronales feedfoward concatenadas como modelos predictivo. Basado en los resultados obtenidos de las simulaciones, se presenta además un análisis cualitativo de la presencia y de la magnitud de los errores en el estado estacionario cuando se utilizan controladores basados en modelos aproximados y se penalizan las acciones de control o su variación. 

Palabras clave: Control predictivo de procesos, control basado en redes neuronales, control de procesos no lineales, control basado en redes recurrentes. 

Recibido el 11 de Octubre de 2004 

En forma revisada el 26 de Septiembre de 2005 

Introducción 

Los controladores predictivos de pasos múltiples aplicados a sistemas no lineales presentan grandes dificultades debido a los problemas inherentes asociados al modelaje del sistema y a la resolución del problema de programación no lineal en cada período de muestreo, ya que en la gran mayoría de las situaciones reales solo se dispone de modelos aproximados, y mediante la estrategia del control predictivo se trata de obtener su inversa realizable (que también son aproximadas) para usarlas como controladores [1, 2]. 

El desarrollo reciente de las redes neuronales como herramienta de modelado, y su facilidad de aproximar el comportamiento de sistemas sin un conocimiento detallado de los mismos, ha hecho que comenzara a popularizarse el estudio del control predictivo usando como modelos redes neuronales entrenadas con datos experimentales. Esta propiedad las hace muy atractivas para su utilización en el control no lineal y ha motivado la realización de una considerable cantidad de trabajos en el ámbito académico sobre su aplicación a problemas tan diversos como control de servomecanismos, sistemas de reacción química, neutralización, etc. [3-8]. 

Entre las redes neuronales utilizadas para aplicaciones de control predictivo tenemos; las redes feedfoward y las redes recurrentes. La redes feedfoward presentan una gran capacidad de aproximación para funciones continuas [9] que permiten emular satisfactoriamente el comportamiento estático de un sistema, mientras que se ha observado la dificultad que presentan para el modelaje dinámico de los mismos. Estas redes han sido utilizadas de forma concatenada [10, 11] o en la estimación de parámetros para horizonte fijo en implementaciones de MPC, obteniéndose resultados relativamente aceptables [12], pero sin estudiar la influencia del modelo sobre el desempeño del controlador para el caso no lineal. 

En trabajos más recientes se han desarrollado aplicaciones utilizando redes recurrentes tipo Elman o Jordan, las cuales tienen la característica de retroalimentar los estados o la salida a la capa oculta de la red, evolucionando hasta un estado de equilibrio, esta característica dinámica hace que sean bastantes útiles cuando se requieren aproximar sistemas dinámicos bajo ciertas condiciones [13, 14]. Investigaciones recientes de las propiedades de las redes neuronales recurrentes revelan que el objetivo del algoritmo de entrenamiento de este tipo de redes es similar al objetivo que se desea lograr en el controlador predictivo de pasos múltiples basado en modelos. 

La mayoría de los trabajos presentados hasta los momentos en la literatura, estudian el desempeño de los controladores predictivos utilizando modelos perfectos, estableciéndose analíticamente las condiciones necesarias para garantizar la acción integral [15] y muy pocos presentan el análisis cualitativo del desempeño del MPC, basado en modelos no lineales imperfectos [16, 17], sobre todo utilizando redes neuronales recurrentes como modelos predictivos. Debido a que la probabilidad de obtener modelos nominales o perfectos es muy baja, es importante estudiar los efectos que se presentan en el caso de utilizar modelos con errores en aplicaciones de controladores basados en modelos, tales como; desempeño dinámico defectuoso y presencia de errores residuales en el estado estacionario. Para el caso particular de penalizar la acción de control en la función objetivo, se ha demostrado la presencia de error en el estado estacionario, independientemente del modelo utilizado, la magnitud de este error aumenta a medida que se incrementa la penalización [16]. 

El presente trabajo tiene como objetivo principal realizar un estudio del desempeño del controlador predictivo de pasos múltiples en procesos no lineales, utilizando redes neuronales recurrentes tipo Jordan y tipo Elman, las cuales han sido poco estudiadas en el control basado en modelos. El sistema considerado, consiste en el proceso de reacción exotérmica irreversible de primer orden en un reactor de mezcla completa. Se estudia el desempeño del controlador predictivo y su comportamiento se compara con el controlador propuesto por Ishida [10] basado en redes feedfoward. Así mismo se analiza cuantitativamente el efecto que tiene la calidad del modelo predictivo en el desempeño del MPC. 

De manera general, en este trabajo se persigue obtener un modelo con los componentes estáticos bien ajustados, que permita que el error tienda a cero en el estado estacionario en pocos pasos de predicción, sin necesidad de utilizar ningún tipo de estrategia adicional, para obtener control integral. 

Implementación del Controlador Predictivo de Pasos Múltiples hacia delante 

El objetivo del MPC es seleccionar un conjunto de movimientos futuros de control de manera de minimizar una función basada en una trayectoria de salidas deseadas en un horizonte de predicción. 

Sujeto a las siguientes restricciones impuestas por la dinámica del sistema; 

y_p(k + j) = F(y_p(k + j - 1), u(k + j - 1)) .    (2) 

Opcionalmente se pueden considerar las restricciones fuertes impuestas por: 

y_min £ Y_p(k + j) £ y_max   (j = 1,…,N)     (3) 

u_min £ u(k + j) £ u_max     (j = 0,1,…,M – 1)     (4) 

[u(k + j) - u(k + j - 1)] £ Du_max    (j = 0,1,…,M – 1)      (5) 

donde N y M son el horizonte de predicción y control respectivamente. Las variables de decisión u(k + i) (i = 0,…,M – 1) son los movimientos de control sobre un horizonte M el cual es una entrada manipulada (M £ N) y se asumen que permanecen constantes para el intervalo de muestreo remanente: 

u(k + j) = u(k + M - 1)     (j = M,…,N – 1) .     (6) 

Independientemente que la optimización está basada en un horizonte de control, solo se implementa la primera acción del vector calculado. Entonces se obtiene las salidas del proceso, y en algunos casos se realiza una compensación debido a las inexactitudes entre la salida del proceso y la salida del modelo, para nuevamente ejecutar la optimización en el siguiente intervalo de muestreo. 

En la función objetivo (1) se penaliza la acción de control y el error; es decir, eligiendo los pesos apropiados de a y b, es posible eliminar la necesidad de usar restricciones fuertes, convirtiendo el problema general en un problema de cuadrados mínimos no lineal, que es más fácil y rápido de resolver que el problema general que incluye las restricciones [10]. 

Redes neuronales feedfoward y recurrentes 

Una de las grandes ventajas que proporciona las redes neuronales para identificación de sistemas, es que no se requiere tener conocimiento del proceso para lograr la obtención de relaciones funcionales entre las entradas y las salidas del sistema. 

A pesar de que existe una gran cantidad de arquitecturas de redes neuronales y de algoritmos de aprendizaje, para aplicaciones en el área de control se ha utilizado con mayor frecuencia las redes neuronales de arquitectura multicapa hacia adelante y el algoritmo de aprendizaje llamado retropropagación, el lector interesado puede revisar la referencia [18] para obtener mayor información. Existen muchos tipos de redes neuronales (perceptrónicas, redes de Kohonen, redes de Hopfield, Elman, Jordan o tipo Pineda, etc.) y varios algoritmos de aprendizajes, sin embargo, para modelar la dinámica de la mayoría de los procesos químicos se utiliza la configuración multicapa hacía delante y las redes neuronales recurrentes. 

Redes recurrentes 

Muchas aplicaciones basadas en modelos de predicción requieren una buena predicción de la dinámica del sistema, una forma de lograr este objetivo, es mediante el entrenamiento de una red feedfoward con valores retardados de la salida alimentados en la capa de entrada. Una representación dinámica mucho más satisfactoria se obtiene al proporcionar retroalimentaciones internas en la red neuronal. Entre este tipo de redes se ha desarrollado una gran variedad, siendo las mas ampliamente utilizadas las redes tipo Jordan, las cuales retroalimentan valores pasados de la salida de la red a neuronas en la capa oculta, las redes tipo Elman [19] donde los valores pasados de las salidas de las neuronas de la capa oculta se retroalimentan dentro de estas mismas neuronas. 

Estas redes poseen propiedades dinámicas que hacen posible que la red tenga memoria interna, adicionalmente se ha observado que pueden filtrar el ruido de manera mucho más satisfactoria que las redes perceptrónicas multicapa, tanto para tamaños de muestras pequeño como para grandes muestras. 

Una de las características más útil de este tipo de topología es que puede representar cualquier orden de retrasos implícitamente en vez de explícitamente. Ha sido comprobado que bajo ciertas condiciones las redes recurrentes pueden utilizarse para aproximar a una precisión arbitraria una descripción discreta en variable de estado [12, 13, 20]. 

Descripción del Sistema 

El proceso estudiado en este trabajo es un reactor exotérmico de mezcla completa. Considerando que la reacción es irreversible A®B, se tiene que el modelo del proceso puede representarse a través de dos ecuaciones diferenciales obtenidas a partir de los balances de masa y energía del sistema. Estas ecuaciones pueden escribirse en forma adimensional de la siguiente manera: 

donde x₁ y x₂ son respectivamente, la concentración de reactante y la temperatura del reactor en forma adimensional. La entrada, m, es la temperatura del agua de enfriamiento en la chaqueta y los parámetros físicos D_a, j, B y k se definen en la Tabla 1. Este sistema ha sido ampliamente estudiado por Ishida [10], Bequette [7], Arkun [8] y otros. 

Tabla 1

Parámetros Físicos del Sistema de Reacción 

Este proceso presenta diversos comportamientos dependiendo de la región de operación en la que se encuentre. Por lo que el control constituye un reto debido a que el proceso presenta un comportamiento inestable en la zona de conversiones intermedias en el reactor. 

Simulación Digital del Proceso 

En la realización de este trabajo, los datos para la etapa de entrenamiento de la red neuronal fueron generados tanto en lazo abierto como en lazo cerrado. Estos datos se obtuvieron mediante la integración numérica de las ecuaciones diferenciales (7-9). 

Las variaciones en la temperatura del agua de enfriamiento, m, fueron realizadas en forma de pulsos rectangulares distribuidos uniformemente de amplitud [–2,2], variando la duración de la perturbación de manera que la respuesta abarcara la zona donde el proceso presenta un comportamiento altamente no lineal e inestable. 

La identificación del modelo del proceso se realizó usando los datos de entrada y salida generados a partir de la simulación del sistema tanto en lazo abierto como en lazo cerrado. Se entrenó redes neuronales feedfoward, recurrentes tipo Elman y tipo Jordan con una topología de dos neuronas en la capa oculta con funciones de transferencia logaritmo sigmoidales, utilizando el algoritmo de Levenberg-Marquardt para la estimación aproximada del gradiente [21]. 

En este trabajo las arquitecturas de las redes neuronales tipo Jordan se implementaron mediante una red neuronal feedfoward conectando la salida realimentanda a la capa de entrada utilizando un retardo de esta señal y el algoritmo de entrenamiento utilizado es la retropropagación al través del tiempo truncada (BTT(n)) [22]. 

Se comprobó la capacidad de la red neuronal para predecir de forma óptima el estado estacionario del proceso, estimando los valores del equilibrio que la misma podía predecir y comparándolos con los valores del estado estacionario que el sistema puede alcanzar para diferentes valores en la variable manipulada. De esta forma se pudo obtener una red neuronal que emulaba satisfactoriamente tanto la dinámica del sistema como el estado estacionario del mismo. 

Casos Estudiados 

En este trabajo se implementó el MPC utilizando las ecuaciones diferenciales (7-9) como modelos perfectos y redes neuronales feedfoward imperfectas como modelos imperfectos. 

Para estudiar el desempeño del controlador predictivo de pasos múltiples, se realizó cambios en el valor deseado de manera de llevar el proceso a la región inestable y se verificó el comportamiento del MPC utilizando modelos predictivos nominales, redes neuronales feedfoward y redes recurrentes, modificando los parámetros de la función objetivo (1), sin considerar las restricciones y sin compensación de errores. 

Influencia de la Penalizaciónen el Cambio de la Acción de Control 

Comportamiento del MPC utilizando un modelo nominal 

En esta sección se estudia la influencia de la penalización en el cambio de la acción de control. 

En la Figura 1 se puede observar el comportamiento del sistema cuando se controla en la región inestable, utilizando un modelo predictivo perfecto y un horizonte de predicción de 5 pasos, el resultado se traduce en una respuesta estable, sin la presencia de error e independiente del factor de penalización en los cambios de las acciones de control. 

Comportamiento del MPC utilizando redes neuronales 

Al utilizar de forma concatenada en el algoritmo del MPC una red neuronal feedfoward, se observa error en el estado estacionario, el cual es independiente de la magnitud de la penalización en los cambios de las acciones de control. A medida que se aumenta b en (1) se observa un incremento en el sobreimpulso, esto es debido primordialmente a que los componentes dinámicos del sistema no son modelados óptimamente. El modelo neuronal presenta desviaciones en los componentes estáticos y dinámicos del proceso, afectando la estabilidad, como se puede observar en la Figura 2. 

Este análisis se realizó utilizando como modelo predictivo una diversidad de redes feedfoward entrenadas, observándose de manera general que se obtiene mejores resultados con aquellas redes que predicen de manera satisfactoria el estado estacionario del proceso. 

En la Figura 3 se puede observar como la penalización sobre el cambio de las acciones de control, no tiene efecto significativo en el desempeño del controlador, cuando se utiliza como modelo predictivo la red recurrente tipo Jordan obtenida en este trabajo. Comportamientos similares al observado en el caso de utilizar un modelo nominal o perfecto. 

Influencia del Horizonte de Predicción, N 

En esta sección se verifica la influencia del horizonte de predicción sobre el desempeño del controlador predictivo de pasos múltiples, sin penalizar el cambio en las acciones de control y utilizando una red neuronal feedfoward con mejor ajuste de los componentes estáticos que dinámicos. 

En la Figura 4 se puede observar que a medida que aumenta el horizonte de predicción, aumenta el error en el estado estacionario y se mejora la estabilidad del sistema. Comportamientos similares se obtienen en el caso de utilizar redes recurrentes tipo Elman que no emulen satisfactoriamente los componentes estáticos del sistema. 

  Aunque no se muestra en este trabajo, cuando se utiliza un modelo nominal y/o una red neuronal recurrente tipo Jordan bien entrenada, no se observa error en el estado estacionario, independientemente de la longitud del horizonte de predicción. En este caso particular se logra solo mejoras substanciales en cuanto a estabilidad al aumentar el horizonte de predicción. 

Comparación del Comportamiento del MPC utilizando Diferentes Tipos de Modelos 

En la Figura 5 se puede visualizar el desempeño del MPC utilizando un modelo nominal, redes neuronales feedfoward y recurrentes como modelos predictivos, de las figuras se puede observar que las redes neuronales recurrentes tipo Jordan proporcionan mejor desempeño dinámico y sin errores en el estado estacionario. 

 

Conclusiones 

Cuando se utiliza un modelo predictivo no lineal perfecto, es posible controlar el sistema en la región inestable, sin la presencia de error e independiente de la penalización sobre el cambio de la acción de control. La magnitud de la penalización solo afecta el tiempo de respuesta del sistema, a medida que ésta aumenta se observa un incremento en el tiempo de respuesta. Al utilizar un modelo con desviaciones, tal como la red neuronal feedfoward obtenida en este trabajo, podemos observar que se presenta error en el estado estacionario y es independiente de la penalización sobre los cambios de las acciones de control, además que a medida que aumenta la penalización se incrementa el sobreimpulso. 

Cuando el modelo predictivo es perfecto, no se observa error en el estado estacionario, independientemente de la longitud del horizonte de predicción, obteniéndose solo un aumento en el tiempo de subida. Para el caso de utilizar modelos predictivos imperfectos, a medida que se incrementa el horizonte de predicción aumenta el error en el estado estacionario y el sobreimpulso disminuye. Intuitivamente se puede concluir que este aspecto se debe a la acumulación de errores durante la utilización de forma concatenada de los modelos predictivos imperfectos. 

En forma general se puede concluir que el desempeño de un controlador predictivo basado en modelos, dependerá de la exactitud del modelo predictivo utilizado. La acumulación de errores durante la utilización iterativa de las redes neuronales es mucho más acentuada en las redes de retropropagación que en las redes recurrentes, siendo las segundas las que mejor ajustan los componentes estáticos y dinámicos de la gran mayoría de procesos o sistemas. La red neuronal debe emular satisfactoriamente tanto en los componentes estáticos como dinámicos para obtener un desempeño satisfactorio del MPC. 

Se obtiene un mejor desempeño del sistema de control, sobre todo en la región altamente no lineal e inestable, con las redes neuronales recurrentes que presentan realimentaciones de la salida hacia la capa oculta, como las tipos Jordan. 

Referencias 

1. Brengel, D., Seider, W., “Multistep Nonlinear Predictive Controller”. Ind. Eng. Chem. Res. 1989, 28, 1812-1822.         [ Links ]

2. Kambhampati, C., Mason, J. D., Warwick, K. “A Stable One-Step-Ahead Predictive Control of Non-Linear Systems”. Automatica, 36, 2000 485-495.         [ Links ]

3. Sitsu, P., Bequette, B. “Model Predictive Control of Process with Input Multiplicities”. Chemical Engineering Sciences, Vol.50, No. 6, pp.921-936, 1995.         [ Links ]

4. Zhan, J., Ishida, M., “Neural Model Predictive Control of Distributed Parameter Crystal Growth Process”. AIChE Journal, October 1995, Vol. 41, No. 10, pp. 2333-2336.         [ Links ]

5. Khalid, M., Omatu, S., “A Neural Controller for a Temperature Control System”. IEEE Control Systems Magazine. June 1992. pp. 58-64.         [ Links ]

6. McAvoy, T., “Modelling Chemical Processes via Neural Computation”. IEEE Control System Mag. 24, 1990.         [ Links ]

7. Sistu, P., Bequette, B., “Nonlinear Predictive Control of Uncertain Processes: Application to a CSTR”. AIChE Journal, November 1991, Vol. 37, No. 11, pp. 1711-1723.         [ Links ]

8. Arkun, Y., Hernandez, E., “Stability of Nonlinear Polynomial ARMA Models and their Inverse”. IBM J. Res. Develop. Vol. 44, No. 5, September 2000. pp 725-748.         [ Links ]

9. Cybenko, G., “Approximation by superposition of a sigmoidal function” Math. Contr. Signal Syst. Vol. 2, No. 3, pp. 303-314, 1989.         [ Links ]

10. Zhan, J., Ishida, M., “The Multi - Step Predictive Control of Nonlinear SISO Processes with a Neural Model Predictive Control (NMPC) Method”. Computer Chemical Engineering Vol. 21 No. 2 pp. 201-210. 1997.         [ Links ]

11. Potoènik, P., Grabec, I., “Model predictive control using neural networks and genetic algorithms”. 16^th IMACS World Congress 2000 on Scientific Computation, Applied Mathematics and Simulation. Lausanne, Swiss, 2000.         [ Links ]

12. Ramazan, G., Liu, Tung, “Nonlinear Modeling and Prediction with Feedfoward and Recurrent networks”. University of Widsor. Canada. November 1996.         [ Links ]

13. Nikiforuk, P. N., Jin, L., Gupta, M. M., “Approximation of Discrete Time State Space Trajectories Using Dynamic Recurrent Neural Networks”. IEEE Transactions on Automatic Control, Vol. 40, No. 7, July 1995, pp. 1266-1270.         [ Links ]

14. Sontag E., “Neural Networks for Control”. In Essays Control: perspectives in the theory and its applications. Birkhause, Boston, pp. 339-380, 1993.         [ Links ]

15. Zheng, A., “Does nonlinear dynamic matrix control provide integral control?” Computer and Chemical Engineering, 23, 2000, 1753-1756.         [ Links ]

16. Alaña, J., “Estudio de Controladores Predictivos de Pasos Múltiples Basados en Redes Neuronales”. Universidad del Zulia. División de Postgrado. Maracaibo, Junio 2002.         [ Links ]

17. Rohani, S., Haeri, M., Word, H. C., “Modeling and control of a continuos crystallization process. Part 2. Model predictive control”. Computer and chemical engineering, 23, 1999, 279-286.         [ Links ]

18. Nahas, E. P., Hesson, M. A., Seborg, D. E., “Nonlinear Internal Model Control Strategy for Neural Network Models”. Computer Chem. Engng. Vol. 16, No. 12, pp. 1039- 1057, 1992.         [ Links ]

19. Elma, J., “Finding Structure in Time”. Cognitive Science, 14, 1789-211, 1990.         [ Links ]

20. Pham D., Xing, L., “Dynamic System Identification Using Elman and Jordan Networks”. Neural Networks for Chemical Engineers, Editor A. Bulsari, chap. 23, 1995.         [ Links ]

21. Hecht-Nielsen, R., “Neurocomputing”. Addison-Wesley Publishing Company. 1990. pp. 433.         [ Links ]

22. Hagan, M., Menhaj, M., “Training Feedfoward Networks with the Maquardt Algorithm” IEEE Transactions on neural networks, Vol. 5, No. 6, pp. 989-993, 1994.         [ Links ]