Partial least squares (PLS) regression and its application to coal analysis 

Carlos E. Alciaturi¹, Marcos E. Escobar^1,2, Carlos De La Cruz³ and Carlos Rincón⁴ 

¹Instituto Zuliano de Investigaciones Tecnológicas (INZIT-CICASI), Apartado Postal 1114. Maracaibo, Venezuela. Tel. 58-261-7910952 Fax 58-261-7913769. E-mail: alciaturi@hotmail.com. ²Postgrado en Geología Petrolera, División de Estudios para Graduados, Facultad de Ingeniería. ³Laboratorio de Espectroscopía Molecular y Atómica, Departamento de Química, Facultad Experimental de Ciencias. ⁴Escuela de Ingeniería Química, Facultad de Ingeniería, Universidad del Zulia. Maracaibo, Venezuela 

Abstract 

Instrumental chemical analysis methods use the relationships between a signal obtained and a property (generally a concentration) of the system under study. The study and applications of these relations is known as chemometrics, a discipline of intense development, with ample applications in chemical and process industry and in environmental studies. The method of partial least squares (PLS) is one of the most used in chemometrics. This method is closely related to principal components regression (PCR). PLS have theoretical and computational advantages that have led to a great number of applications. The numbers of Internet sites referring to PLS are hundreds of thousands. Here, we give the fundamentals and show an application to prediction of coal properties from mid-infrared data, with the purpose of developing fast, non-destructive methods of analysis for these materials. 

Key words: PLS, multivariate regression, chemometrics, coal analysis. 

La regresión de mínimos cuadrados parciales (PLS) y su aplicación al análisis del carbón mineral 

Resumen 

Los métodos instrumentales de análisis químico hacen uso de las relaciones entre la señal obtenida y una propiedad del sistema estudiado (generalmente, una concentración). Los avances en electrónica y computación han hecho posible un rápido progreso en la adquisición de datos y en su transmisión y procesamiento. La aplicación de diversos métodos matemáticos al cálculo de concentraciones y otras propiedades a partir de datos instrumentales se conoce como quimiometría y es un área de intensa actividad, por sus amplias aplicaciones en la industria química, de procesos y en estudios ambientales. Uno de los métodos más usados en quimiometría es el método de mínimos cuadrados parciales, conocido por sus iniciales en inglés, PLS (“partial least squares”). Este método, relacionado con la regresión de componentes principales, PCR (“principal components regression”) posee ventajas teóricas y computacionales que han llevado a innumerables aplicaciones. Se encuentran en Internet decenas de miles de referencias solamente para el PLS lineal. En este artículo, se explica los fundamentos del método y se muestra una aplicación a la predicción de propiedades de carbones minerales a partir de datos del infrarrojo medio, con el objetivo de desarrollar métodos de análisis rápidos y no destructivos para estos materiales. 

Palabras clave: PLS, regresión multivariada, quimiometría, análisis del carbón mineral. 

Recibido el 10 de Marzo de 2003 

En forma revisada el 8 de Diciembre de 2003 

Introducción 

Es frecuente, para medir propiedades de sistemas físicos, el hacer uso de señales que puedan ser logradas de manera rápida y eficiente, por instrumentos electrónicos o electro-ópticos. La propiedad que interesa debe estar relacionada de alguna manera con la intensidad de la señal obtenida. El estudio de estas relaciones es conocido como quimiometría, y es un área de rápido desarrollo, gracias a la disponibilidad de computadoras, espectrofotómetros, sensores electroquímicos, y otros que permiten realizar análisis rápidos, económicos y no destructivos. El trabajo pionero en PLS fue realizado por H. Wold en los años sesenta en el área de econometría [1]. S. Wold, H. Martens y B. Kowalski estuvieron entre los primeros en aplicar este método en química [1-4]. El método se propone identificar los factores (combinaciones lineales de las variables independientes) que mejor modelan las variables dependientes. Es posible manejar eficientemente conjuntos de datos donde existen muchas variables fuertemente correlacionadas y cantidades importantes de ruido aleatorio. Se ha demostrado que este método es una buena alternativa a los métodos más antiguos de regresión lineal múltiple (MLR) porque es “robusto”. Esto significa que el modelo matemático no es muy alterado cuando se toman en cuenta nuevas muestras en la calibración. Entre sus ventajas se encuentran: análisis rápidos y no destructivos de muestras; determinación simultánea de varias propiedades; automatización de las medidas; y detección de “outliers” (muestras diferentes a las utilizadas en la calibración). Sin embargo, existe la debilidad, común a todos los métodos quimiométricos, de ser correlativos y no causales. Esto significa que las relaciones determinadas serán aplicables únicamente a muestras similares (cuyas propiedades estén dentro del mismo rango) a las usadas para la creación del modelo. 

El análisis multivariado 

En la literatura se encuentran numerosas referencias a métodos de análisis multivariado (por ejemplo, MLR (regresión lineal múltiple), PCR (regresión de componentes principales) y PLS (mínimos cuadrados parciales). Geladi y Kowalski publicaron un artículo de revisión sobre el método PLS [1-2]. Además, recientemente Wold y Martens publicaron artículos donde se relata el desarrollo temprano del método [3, 4]; y Wold et al. analizaron tendencias recientes [5]. Artículos de revisión bibliográfica sobre quimiometría se publican regularmente en la revista Analytical Chemistry (ver, por ej., [6]). En la misma revista se han publicado reportes sobre las aplicaciones del análisis multivariado [7-9]. Asimismo, existen textos sobre el tema [10-12]. En estos métodos, se consideran dos grupos de variables, llamadas variables independientes (representadas por una matriz X) y variables dependientes (representadas por la matriz Y). Tomando un conjunto de muestras, a las cuales se les determina los valores de X y Y (por ejemplo, X puede representar las intensidades de absorción medidas por un espectrofotómetro, y Y las concentraciones de ciertos componentes, determinadas por gravimetría, titulación u otro método) se trata de establecer un modelo (generalmente lineal) Y = f(X). Este conjunto de muestras es llamado conjunto de calibración o de entrenamiento. 

Se considera el caso de un modelo lineal con una variable dependiente, representado por la Ecuación 1 (donde las letras mayúsculas representan matrices, y las minúsculas vectores): 

y = Xb + f         (1) 

y representa la variable dependiente, X representa las variables independientes, b es el vector solución y f el vector error o residual. Esta ecuación se muestra gráficamente en la Figura 1. Los parámetros del modelo (contenidos en b) son llamados coeficientes de regresión o sensibilidades.

Es frecuente, cuando los datos son obtenidos por métodos instrumentales en química analítica, encontrar un mayor número de variables independientes que muestras; lo cual puede resultar en infinitas soluciones para el sistema en la Ecuación 1. Por ejemplo, los avances de la electrónica permiten medir y registrar la absorbancia a un número muy grande de longitudes de onda. Esto se da en espectroscopia de NIR (infrarrojo cercano), FT-IR (infrarrojo por transformada de Fourier) o NMR (resonancia magnética nuclear). Tales espectros digitalizados pueden dar 1000-2000 variables por muestra. 

Este problema puede ser enfrentado de varias maneras: selección de variables (escoger las variables más relevantes); reducción de dimensionalidad de la matriz X calculando los componentes principales o variables latentes (PCR y PLS [1-12]) y/o transformación de las variables (por ej. mediante la transformada de Fourier). Todos estos métodos resultan en una matriz X de menor dimensión, lo cual facilita los cálculos y hace que el sistema sea más “robusto”. 

Se acostumbra validar el modelo obtenido utilizando un nuevo conjunto de muestras (llamado conjunto de predicción o de prueba) para el cual se miden los valores de las variables independientes y estas variables son utilizadas, junto con los coeficientes de regresión, para predecir los valores de las variables dependientes. Un método de validación de uso frecuente, es la validación cruzada, donde una fracción de las muestras de referencia es omitida al construir el modelo [1, 2]. La fracción omitida puede variar entre una (“bootstraping”) y la mitad del total de muestras. El método de validación cruzada da una estimación más realista de las desviaciones que pueden esperarse al aplicar el modelo a nuevas muestras. 

El Método de Mínimos Cuadrados Parciales (PLS) 

La regresión de mínimos cuadrados parciales (PLS) es el “caballo de batalla” de la quimiometría. Es un método relacionado con el análisis de componentes principales (PCA) [1]. Estos métodos tienen ventajas intrínsecas cuando se le compara con métodos univariados. Todas las variables relevantes son incluidas en el modelo PLS. En lo que sigue, se hará referencia al llamado modelo PLS1, donde se considera una variable dependiente, representada por el vector y. Cuando se consideran varias variables dependientes, el modelo es denominado PLS2, y las variables se representan por una matriz Y. La suposición básica de todos estos modelos es que el sistema o proceso estudiado depende de un número pequeño de variables latentes (V.L.). Este concepto es similar al de componentes principales. Las variables latentes son estimadas como combinaciones lineales de las variables observadas, como se explica más adelante. 

En los modelos PLS, se establece una representación de la matriz X en término de estas V.L.: 

X = TP^T + E         (2) 

donde T representa “scores” (término que puede ser traducido como “resultados”); y P^T “loadings” (término que puede ser traducido como “cargas”). La matriz X queda descompuesta en un número de “variables latentes”, cada una caracterizada por un vector t y un vector p^T. 

De esta forma, es posible representar una matriz X (dentro de un cierto error) por una matriz T con un número menor de columnas. Esta descomposición se muestra en la Figura 2. Si se incluyen todas las variables latentes, el error es cero (E = 0). El modelo PLS1 se desarrolla de modo que las primeras variables latentes (t₁, t₂,...) son las más importantes para explicar el vector “y” en el conjunto de calibración. El número de variables latentes necesarias para explicar la matriz X (dentro de un error máximo permitido) es una medida de la complejidad del modelo. Otros vectores calculados durante la etapa de calibración son w^T (“pesos” en el espacio de X), y b (“sensibilidades”). El algoritmo para la calibración (nonlinear iterative partial least squares, NIPALS), [1-2] se muestra en la Tabla 1.

Tabla 1

El algoritmo PLS1 (calibración) 

La relación entre y y T es: 

y = Tb + f         (3) 

donde b se calcula de modo de minimizar f, el vector error en esta expresión. 

Los vectores w^T, p^T, y b son necesarios para predecir la propiedad dependiente y para un nuevo conjunto de muestras. En ese caso, se determina experimentalmente X y se calcula (utilizando los vectores w’ y p’) la matriz T. El vector y es estimado usando los coeficientes b previamente calculados durante la calibración: 

y_pred = Tb        (4) 

El algoritmo para la predicción se muestra en la Tabla 2; ver también [1, 2, 10-12]. 

Tabla 2

El algoritmo PLS1 (predicción) 

Como se observa en la Tabla 1, este algoritmo produce una deflación de la matriz X y el vector y. Los vectores y matrices calculados por este algoritmo tienen las siguientes propiedades: 

- Los t (“scores”) son vectores ortogonales entre sí [1]. 

- Los w^T (“weights”) son ortogonales entre sí [1]. 

- El residual f es ortogonal a los t previos [13]. 

- El número máximo de variables latentes no excede el rango de la matriz X [13]. 

- La aproximación obtenida cuando se consideran todas las variables latentes es idéntica a la solución por la matriz seudo-inversa [14]. 

Debe agregarse que es posible calcular las matrices indicadas anteriormente sin utilizar el algoritmo NIPALS [15-17]. También es posible representar el modelo PLS calculando un vector de coeficientes b (ver Ec. 1) como se indica a continuación [18]. Defínase una matriz R como: 

R = W(P^TW)^–1         (5) 

La matriz de scores T puede ser calculada por la siguiente ecuación: 

T = XR          (6) 

Por consiguiente, el modelo final de regresión se puede expresar por: 

y_calc = XRb = Xb_PLS         (7) 

donde b_PLS = Rb. Además, si se toman en cuenta todas las variables latentes, los coeficientes b_PLS son idénticos a los coeficientes del modelo de regresión lineal múltiple MLR (incluyendo todas las variables), cuando éste sea aplicable: 

b_MLR = (X^TX)^–1X^TY          (8) 

Ventajas y desventajas del método PLS 

El método obtiene, a partir de la matriz X (variables independientes), una matriz T (variables latentes) cuyos vectores son linealmente independientes, definiendo un sistema ortogonal. En consecuencia, se pueden usar los vectores t de manera conveniente para hacer aproximaciones [19]. Además, en los casos en que existan un número grande de variables independientes (m>n, Figura 1) se produce una reducción del modelo. La información relevante es resumida en las primeras variables latentes, mientras que el “ruido” es modelado por las últimas. En los casos en que exista colinealidad (redundancia) entre las variables, ésta se usa para reducir el ruido aleatorio. Por consiguiente, es posible minimizar el riesgo de cometer un error estadístico de Tipo II (descartar información importante) [4]. Otro aspecto favorable del método es que produce una reducción en la magnitud del vector b (Ecuación 1), una característica positiva para cualquier método de regresión [20]: 

|b_{PLS, 1}| £ |b_{PLS, 2}| £........ £ |b_MLR|      (9) 

donde los subíndices se refieren a las variables latentes y b_MLR se define por la Ecuación 8. Una desventaja es que el modelo es correlativo y no causal, por consiguiente, los modelos obtenidos no ofrecen información fundamental acerca del fenómeno estudiado [20]. Una crítica más profunda, desde el punto de vista de la teoría estadística, es que PLS no puede ser considerado un método óptimo [20]. 

Ejemplo de Aplicación: Predicción de Propiedades de Carbones Minerales 

El carbón es un recurso natural abundante en muchos países del mundo y, particularmente, en Venezuela. Extensos depósitos han sido reportados en los estados Zulia (Guasare, Socuy, Aricuaisá, Rio de Oro, Casigua), Táchira (Santo Domingo, Rubio, Lobatera, Hato de la Virgen, Las Adjuntas, Franja Nororiental), Falcón (Pedregal) y Anzoátegui (Naricual, Fila Maestra), principalmente en las formaciones geológicas Marcelina, Los Cuervos, Carbonera, Cerro Pelado, Naricual y Quebradón [21]. Pese a su valor como fuente de componentes orgánicos, es empleado generalmente como combustible para la producción de calor y energía eléctrica, o como materia prima para producir coque, usado en siderurgia y metalurgia para la reducción de óxidos metálicos. 

La caracterización del carbón mineral con fines del establecimiento de su calidad para las aplicaciones antes expuestas, comprende una serie de determinaciones analíticas de complejidad, costo y tiempo de respuesta variables. Los análisis petrográficos permiten reconocer el grado de evaluación del carbón mediante la medición de la reflectancia promedio de la vitrinita, según la norma ASTM D 2748-79 [22]. Los análisis inmediatos comprenden la determinación de los porcentajes de humedad (ASTM D 3173-73), materia volátil (D 3175-82), cenizas (D 3175-82) y carbono fijo (por diferencia al 100% de los tres anteriores). El azufre total se determina por el método de la bomba calorimétrica (D 3177-84). El poder calórico se mide según la norma D 2015-85. Los análisis últimos o elementales incluyen las determinaciones de los tenores de C, H (tren de combustión; D 3178), N (Kjeldahl; D 3179); S (bomba calorimétrica; D 3177) y O (por diferencia) [22]. Una alternativa rápida, no destructiva, con poco trabajo de preparación de muestras y al alcance de cualquier laboratorio, esta dada por el uso de la espectroscopía de infrarrojo. 

La espectroscopia de infrarrojo es una poderosa herramienta de la química analítica, que permite estudiar la estructura de materiales. Por medio de un espectro de infrarrojo, es posible conseguir información tanto de tipo cualitativo (tipo de grupos funcionales presentes en la muestra) como cuantitativo. A manera ilustrativa de la potencialidad de este método sobre carbones, se consideró un conjunto de 49 muestras de carbones venezolanos y colombianos, cuyas propiedades han sido publicadas [23-25]. Detalles del procedimiento experimental de obtención de los espectros se encuentran en el Trabajo Especial de Grado de C.E.A. [26]. Las propiedades: materia volátil, carbono fijo, cenizas, poder calórico, carbono elemental, hidrógeno, nitrógeno, azufre total, y reflectancia máxima de vitrinita (Ro max) fueron determinadas por métodos convencionales (según normas ASTM) y correlacionadas con el espectro de infrarrojo. En este caso, la matriz X está representada por los espectros de infrarrojo (en unidades de absorbancia) y el vector y por los datos de referencia. Un espectro típico de infrarrojo se muestra en la Figura 3. Las asignaciones de bandas se encuentran en [26] y referencias allí incluidas. La absorbancia a cada uno de los números de onda considerados representa una variable independiente. Por consiguiente, en este caso la matriz X representa 171 variables independientes (m = 171).

El número óptimo de variables latentes a utilizar se determinó por el método de “bootstrapping” mencionado anteriormente. El resultado para el porcentaje de hidrógeno se muestra en la Figura 4, donde el número óptimo de variables latentes es 6.

En la Tabla 3 se muestra el número de variables latentes y las desviaciones estándar de las predicciones, y se compara con las desviaciones estándar de los valores de referencia. Se obtuvo buenas correlaciones para carbono fijo, cenizas, reflectancia de vitrinita y concentración de carbono e hidrógeno, demostrando la potencialidad de la espectroscopía de infrarrojo en el análisis rápido, económico y no destructivo del carbón mineral. 

Tabla 3

Predicciones de propiedades de carbones minerales usando el espectro de infrarrojo y PLS con validación cruzada (26) 

Notación 

(Los vectores mostrados son vectores “columna”. Los vectores “fila” se indican transpuestos, por ejemplo, w^T). 

x   Variable independiente, (n × 1). 

X   Matriz de variables independientes, (n × m). 

y   Variable dependiente, (n × 1). 

b   Vector de regresión, que multiplica a X (m × 1). 

E    Matriz residual de variables independientes, (n × m). 

f    Vector residual (error) de la variable dependiente y, (n × 1). 

b    Vector de coeficientes de regresión, que multiplica a T (a × 1). 

w    Vector de “weights”, (m × 1). 

W    Matriz de “weights”, (m × a). 

t      Vector “scores”, (n × 1). 

T    Matriz de “scores”, (n × a). 

p    Vector de “loadings”, (m × 1). 

Agradecimiento 

Se agradece la asistencia financiera del Consejo Nacional de Investigaciones Científicas y Tecnológicas (CONICIT) a través del Proyecto S1-2278. 

Referencias Bibliográficas 

1. Geladi P., Kowalski B. R.: “Partial Least Squares Regression: A Tutorial”. Anal. Chim. Acta, Vol. 185, (1986) 1-17.         [ Links ]

2. Geladi P., Kowalski B. R.: “An Example of 2-Block Predictive Partial-Least Squares Regression with Simulated data”. Anal. Chim. Acta, Vol. 185, (1986) 19-32.         [ Links ]

3. Wold S.: “Personal memories of the early PLS development”. Chemom. Intell. Lab. Syst. Vol. 58 No. 2 (2001) 83-84.         [ Links ]

4. Martens H.: “Reliable and relevant modeling of real world data: a personal account of the development of PLS regression”. Chemom. Intell. Lab. Syst. Vol. 58 No. 2 (2001) 85-95.         [ Links ]

5. Wold S., Trygg J., Berglund A., Antti H.: “Some recent developments in PLS modeling”. Chemom. Intell. Lab. Syst. Vol. 58 No. 2 (2001) 131-150.         [ Links ]

6. Lavine B. K.: “Chemometrics”. Anal. Chem., Vol. 70, No. 12 (1998) 209R-226R.         [ Links ]

7. Sekulic S., Seasholtz M. B., Wang Z., Kowalski B. R., Lee S. E., Holt B. R.: “Nonlinear Multivariate Calibration Methods in Analytical Chemistry”. Anal. Chem., Vol. 65, No. 19 (1993) 835A-845A.         [ Links ]

8. Erickson C. L., Lysaght M. J., Callis J. B.: “Relationship between Digital Filtering and Multivariate Regression in Quantitative Analysis”. Anal. Chem., Vol. 64, No. 24 (1992) 1155A-1163A.         [ Links ]

9. Beebe K. R, Kowalski B. R.: “An Introduction to Multivariate Calibrations and Analysis”. Anal. Chem., Vol. 59, No. 17 (1987) 1007A-1017A.         [ Links ]

10. Martens H., Naes T.: “Multivariate Calibration”. John Wiley, Chichester 1989.         [ Links ]

11. Mardia K. V.: “Multivariable Analysis”. Academic Press, 1979.         [ Links ]

12. Draper N., Smith H.: “Applied Regression Analysis”. Wiley, New York 1981.         [ Links ]

13. Qin, S. J.: “Recursive PLS algorithms for adaptive data modeling”. Computers Chem. Eng. Vol. 22, No. 4-5 (1998) 503-514.         [ Links ]

14. Wold, S., Ruke, A., Wold, H., & Dunn III, W.J.: “The collinearity problem in linear regression, the partial least squares (PLS) approach to generalized inverses ”. SIAM Journal of Scientific and Statistical Computation. Vol. 5, No. 3 (1984) 735-743.         [ Links ]

15. Kaspar M. H., Ray W. H.: “Partial Least Squares Modelling as Successive Singular Value Decompositions”. Computers Chem. Eng., Vol. 17, No. 10 (1993) 985-989.         [ Links ]

16. de Jong S., ter Braak C.J.F.: “Comments on the PLS kernel algorithm”. J. Chemometrics, Vol. 8, (1994) 169-174.         [ Links ]

17. de Jong S., Wise B.M., Ricker N.L.: “Canonical partial least squares and continuum power regression”. J. Chemometrics, Vol. 15, No.2 (2001) 85-100.         [ Links ]

18. Baffi G., Martín E. B., Morris A.J.: “Non-linear projection to latent structures revisited: the quadratic PLS algorithm.” Computers Chem. Eng., Vol. 23, (1999) 395-411.         [ Links ]

19. Kincaid D., Cheney W.: “Análisis Numérico: Las Matemáticas del Cálculo Científico”.Addison-Wesley Iberoamericana 1994.         [ Links ]

20. Helland, I. S.: “Some theoretical aspects of partial least square regression”. Chemom. Intell. Lab. Syst. Vol. 58 No. 2 (2001) 97-107.         [ Links ]

21. Escobar M. E., Martínez M.:”Los depósitos de carbón en Venezuela”. Interciencia, Vol. 18, No. 5 (1993) 224-229.         [ Links ]

22. American Society for Testing Materials: “Gaseous fuels, coal and coke” in Annual Book of ASTM Standards: Philadelphia, Section 5, vol. 05.05, 1992         [ Links ]

23. Alciaturi C. E., Escobar M. E., De La Cruz C., Rincón C.: “Predicción de propiedades de carbones minerales por espectroscopia infrarroja y regresión de componentes principales”. Memorias de las 10mas Jornadas Científico Técnicas de Ingeniería, Vol. 2, (1998), QUI 40- QUI 45.         [ Links ]

24. Alciaturi C. E., Montero T., De La Cruz C., Escobar M. E.: “The Prediction of Coal Properties using Compressed Infrared Data from Osculating Polynomials”. Anal. Chim. Acta, Vol. 340, (1997), 233-240.         [ Links ]

25. Alciaturi C. E., Escobar M. E., Vallejo, R.: “Prediction of Coal Properties by Derivative DRIFT Spectroscopy”. Fuel, Vol. 34, No. 4 (1996), 491-499.         [ Links ]

26. Alciaturi, Carlos E. Trabajo Especial de Grado, Universidad del Zulia, Facultad de Ingeniería, (2000).         [ Links ]