Notas técnicas: análisis de datos bajo condiciones de reproducibilidad

Technical notes: Analysis of data under reproducibility conditions

Aisha Hurtado, Aura Caldera, Balentina Milano, Carlos Ibarra, Alba Díaz, José Camacho, José Elías Villamizar, Omar Verde

Laboratorio de Bioanalítica, Departamento de Química Medicinal, Instituto Venezolano de Investigaciones Científicas (IVIC). Ministerio del Poder Popular para Educación Universitaria, Ciencia y Tecnología. Email: omarverde@gmail.com

Resumen

Se presentan estadísticos para realizar comparaciones de resultados provenientes de de una variable continua bajo condiciones de reproducibilidad. Se plantea la evaluación para un analista en una muestra contra el valor de un patrón de referencia, para varios analistas en una muestra contra el valor de un patrón de referencia, para varios analistas en una muestra homogénea y para varios analistas trabajando con varios equipos en una muestra homogénea, con el apoyo de la prueba de “t”, del análisis de varianza y de la estimación de componentes de varianza, incluyendo los procedimientos para el cálculo de la varianza de reproducibilidad y evaluaciones del posible comportamiento diferente de los niveles de un factor a través de los niveles de un segundo factor.

Palabras clave: Reproducibilidad, exactitud, componentes de varianza, interacciones.

Abstract

It is described statistical procedures to make comparisons of results from data obtained under reproducibility conditions for a continuous variable. Evaluation for an analyst in a sample against a standard reference value, for several analysts against the value of a reference pattern, for analysts working a homogeneous sample and for analysts using several equipments with a homogeneous sample, with the support of the “t” test, the analysis of variance and variance components estimation, including the procedures for the calculation of the variance of reproducibility and assessments of the possible different behavior from the levels of a factor through levels of a second factor.

Key words: Reproducibility, accuracy, variance components, interactions

Introducción

Los valores obtenidos en mediciones de repetibilidad son de valiosa ayuda para estimar la condición favorable o desfavorable de una unidad (equipo, persona, parcela de terreno). Ellos deben ser procesados estadísticamente para su caracterización e inferencia con respecto a valores de referencia o realizar, en el caso de dos o más unidades, comparaciones que permitan tomar decisiones para corregir deficiencias o continuar en el proceso de una mejora continua.

En la Nota Técnica No 1 se definió la variable continua, su caracterización y la posibilidad de realizar comparaciones entre unidades para la evaluación de la repetibilidad. En la presente Nota Técnica se procederá a definir, para una variable continua, las condiciones de reproducibilidad, y señalar estadísticos que permitan la comparación entre unidades.

Exactitud y Reproducibilidad:

La exactitud está definida como la proximidad entre el valor obtenido en la medición y el “verdadero” valor del mensurando. La medición será más exacta en la medida que el error de medida sea más pequeño. Si se trabaja con varios laboratorios, se dispondrá de diferentes operadores, diferentes equipos y diferentes condiciones ambientales, entre otras posibles fuentes de variación, por lo que se debe esperar una mayor variabilidad entre los resultados, en comparación con los obtenidos bajo condiciones de repetibilidad (donde se trabaja con un solo equipo, un solo operador e iguales condiciones ambientales). La reproducibilidad está definida como la desviación estándar de las mediciones realizadas para una muestra en días distintos, con posibles variaciones en las condiciones en cuanto a equipos, reactivos o analistas. Si se realizan mediciones en varios laboratorios, como puede ser el caso de programas interlaboratorio, se hace referencia a la reproducibilidad interlaboratorio mientras que si estas son realizadas en un solo laboratorio, como puede ser el caso de la preparación de patrones de calibración en distintos días, con participación de más de un analista y, posiblemente, diferentes equipos, se le conoce como reproducibilidad intralaboratorio o precisión intermedia.

Los términos exactitud y reproducibilidad, al igual que los de precisión y repetibilidad, también son muy utilizados en la evaluación de la confiabilidad de los resultados en programas de comparación interlaboratorio, para reflejar el grado de seguridad de los resultados emitidos.

En la presente Nota Técnica se presentarán cuatro (04) posibles situaciones para la evaluación estadística de la exactitud en los resultados obtenidos en mediciones obtenidas bajo condiciones de repetibilidad:

1.- Comparar los resultados obtenidos por un analista en una muestra contra el valor de un patrón de referencia.

2.- Comparar los resultados obtenidos por varios analistas en una muestra contra el valor de un patrón de referencia.

3.- Comparar los resultados obtenidos por varios analistas en una muestra homogénea.

4.- Comparar los resultados obtenidos por varios analistas trabajando con varios equipos en una muestra homogénea.

Caso 1. Comparar los resultados obtenidos por un analista en una muestra contra el valor de un patrón de referencia.

Supóngase que se le asigna a un analista realizar 10 mediciones bajo condiciones de repetibilidad (datos ficticios) en una muestra proveniente de un patrón de referencia que presenta un valor certificado de 10.12. Los valores obtenidos (ordenados en forma creciente) fueron:

10.10, 10.11, 10.11, 10.12, 10.12, 10.12, 10.13, 10.13, 10.13, 10.14

La evaluación estadística de estos datos señala un promedio de 10.121, una desviación estándar de 0.012 y un coeficiente de variación de 0.1183, lo que permite aseverar que se tiene muy poca variación relativa y muy buena repetibilidad.

El valor promedio de 10.121 permite pensar que se está muy cerca del verdadero valor del patrón (10.12), con una diferencia de 0.001 y, por lo tanto, muy buena exactitud o reproducibilidad. Sin embargo, conviene utilizar una prueba estadística para disponer de valores de probabilidad para la conclusión. Para ello, se recurre a la comparación del valor promedio de las 10 observaciones contra el valor certificado de 10.12 mediante una prueba de t, con una Ho que señala un valor de μ = 10.12 contra una Ha que señala μ ≠ de 10.12, aplicando la fórmula:

( Y - μ) t = s / √n

Los cálculos realizados permiten obtener un valor de t = 0.26, que tiene una probabilidad cercana a 0.80 para aceptación de la Ho, indicando que puede ser aceptada con mucha confianza y que existe alta reproducibilidad. Para concluir que existe, desde el punto de vista estadístico, poca reproducibilidad, se debe obtener un valor de probabilidad inferior a 0.05.

Caso 2. Comparar los resultados obtenidos por varios analistas en una muestra contra el valor de un patrón de referencia.

En el caso de asignar a varios analistas realizar mediciones bajo condiciones de repetibilidad en una muestra proveniente de un patrón de referencia que presenta un determinado valor certificado, se puede proceder a realizar la evaluación estadística para cada analista en relación al valor de referencia. Supóngase que sean cuatro (04) analistas con los siguientes resultados:

La caracterización para cada analista produjo los siguientes resultados:

Todos ellos presentan variación muy reducida. Los coeficientes de variación están por debajo del 0.2%, indicadores de muy buena repetibilidad. Las comparaciones mediante pruebas de t contra un valor de 10.12 son las siguientes:

Se observa que el primer analista tiene una probabilidad de 0.80 para la aceptación de la Ho, probabilidad que se va haciendo menor en los otros analistas hasta llegar al valor de 0.00, indicativo de rechazo de la Ho. Es decir, el primer analista presenta excelente reproducibilidad, lo que no es cierto para los otros tres.

Es posible realizar la comparación de los cuatro (04) analistas para detectar si existen diferencias significativas entre ellos y, de ser posible, señalar cuales promedios son significativamente diferentes. El análisis de varianza con la prueba de F permite la conclusión en relación a la detección de diferencias significativas entre los promedios y la prueba de comparaciones múltiples de Tukey puede ser aplicada para la separación de promedios.

El análisis de varianza proporciona los siguientes resultados:

La conclusión es que hay diferencias altamente significativas entre los promedios. Para realizar la prueba de Tukey de separación de promedios, se procede al cálculo del valor crítico o de mínima diferencia significativa entre promedios. Este valor es de 0.0163, lo que permite establecer el siguiente resumen en la comparación de los promedios de analistas:

El analista 4 constituye un grupo totalmente separado de los otros tres, es decir, difiere significativamente de ellos. En el grupo B, constituido por los analistas 2 y 1 no se detectan diferencias significativas, al igual que en el grupo C constituido por los analistas 1 y 3.

El análisis de varianza es una herramienta poderosa que, no solo permite detectar la posible existencia de diferencias entre promedios de los grupos en estudio sino que proporciona caminos para obtener la varianza y desviación estándar de repetibilidad, la precisión intermedia y la varianza y desviación estándar de reproducibilidad, tal como de detallará en el próximo caso.

Caso 3. Comparar los resultados obtenidos por varios analistas en una muestra homogénea

Este caso es similar al anterior, con asignación a varios analistas para realizar mediciones bajo condiciones de repetibilidad en una muestra homogénea donde el valor verdadero no es conocido. Se podrá realizar la evaluación estadística para detectar posibles diferencias significativas entre ellos y, de ser posible, señalar cuales promedios son significativamente diferentes. Es un planteamiento similar al anterior, donde la prueba de comparaciones múltiples de Tukey puede ser aplicada para la separación de promedios.

Si se toman los mismos datos de los cuatro (04) analistas del Caso 2, se obtiene información de poca variación dentro de cada analista, indicador de excelente repetibilidad y diferencias significativas entre los promedios de los analistas, indicador de baja reproducibilidad.

El análisis de varianza proporciona el Cuadrado medio residual que corresponde al estimador promedio de varianza intra-analistas, que refleja las variaciones de los resultados reportados por los analistas o de las varianzas de repetibilidad. En el ejemplo en consideración, el estimador de varianza de repetibilidad (s²_rep) es 0.00018, por lo que el estimador de desviación estándar poblacional para repetibilidad (s_rep) es su raíz cuadrada o 0.0134 y el valor crítico de repetibilidad es 2.8 •.0.0134 =0.0375

El análisis de varianza también proporciona el Cuadrado medio entre analistas, que es una función lineal que contiene s²_rep + k• s²_{entre analistas}, donde k es el número de observaciones por analista y s²_{entre analistas} corresponde a la varianza entre analistas. Si se toma el cuadrado medio de entre analistas (0.00312), s²_rep = 0.00018 y k = 10 observaciones por analista, se obtiene que s²_{entre analistas} es igual a 0.00029.

La varianza de reproducibilidad (s²_reprod) es la suma de las varianzas estimadas, es decir, s²_rep + s²_{entre analistas}, que se traduce en un valor de 0.00047. La desviación estándar de reproducibilidad (s_reprod) es la raíz cuadrada de ese valor, 0.0217 y el valor crítico de reproducibilidad es 2.8 •.0.0217 = 0.0607

Caso 4. Comparar los resultados obtenidos por varios analistas trabajando con varios equipos en una muestra homogénea.

En la presente situación, al realizar las mediciones en varios equipos, se está incorporando una fuente adicional de variación ya que, además del efecto de analista, se tendrá el efecto de equipo. Mediante el análisis de varianza, se podrán estimar ambos efectos, detectar su significación estadística, obtener componentes de varianza y valores críticos.

Un sencillo ejemplo permitirá desarrollar el procedimiento. Consiste en mediciones provenientes de dos (02) analistas en dos (02) equipos.

La caracterización general produce los siguientes resultados:

y el análisis de varianza, que evalúa simultáneamente los efectos de analista y de equipo, genera el siguiente cuadro resumen:

La varianza residual (0.01635) es el estimador de varianza de repetibilidad (s²_rep), por lo que s_rep es igual a 0.1279 y el valor crítico es 0.358.

El componente de varianza entre analistas, calculado a partir de la función lineal previamente indicada s²_rep + k• s²_{entre analistas} = 0.0225 y un valor de k = 8 observaciones por analista, proporciona un estimado de s²_{entre analistas} de 0.00077. Pero existe una fuente adicional de variación, la de equipos, y se puede proceder a obtener el componente de varianza entre equipos, calculado a partir de la función lineal s²_rep + k•s²_{entre equipos} = 0.0625 y k = 8 observaciones por equipo, que se traduce en s²_{entre equipos} de 0.00577.

Es decir, se tienen tres componentes de varianza: 0.01635 de repetibilidad, 0.00077 para analistas y 0.00577 para equipos, lo que indica que existe una mayor variación entre equipos al compararla con la de los analistas. Con este análisis, la varianza de reproducibilidad (s²_reprod) es la suma de las varianzas estimadas, es decir, s²_rep + s²_{entre analistas} + s²_{entre equipos} que se traduce en un valor de 0.02289. La desviación estándar de reproducibilidad (s_reprod) es la raíz cuadrada de ese valor, 0.1513 y el valor crítico de reproducibilidad es 2.8 •.0.1513 = 0.4236.

Pero los datos disponibles permiten profundizar un poco más en el análisis. Los promedios de los analistas con las cuatro (04) mediciones que realizan en cada equipo son los siguientes:

donde se observa un comportamiento de promedios que in­dican una tendencia a mayores valores en el equipo 2 por parte del primer analista mientras que es lo contrario para el analista 2, es decir, un comportamiento diferente de los niveles de un factor (analista) a través de los niveles de un segundo factor (equipo). Esto es denominado en estadística como efecto de interacción y, de ser de una magnitud importante, indica que se debe realizar la interpretación de los resultados con mayor precisión. Esto implica que el modelo estadístico para el análisis de los datos debe incluir un término adicional: el efecto de la interacción analista x equipo.

El análisis de varianza con la incorporación de esta nueva fuente de variación, proporciona el siguiente análisis:

Estos resultados señalan la existencia de una interacción estadísticamente significativa, por lo que se debe concluir que existe un comportamiento diferente de los analistas a través de los equipos. Es decir, un analista proporciona resultados más elevados en un equipo diferente a los resultados que proporciona el segundo analista.

También se presentan implicaciones en la repetibilidad y reproducibilidad. El valor de varianza de repetibilidad (s2rep) es de 0.0075 y, adicionalmente, se pueden obtener tres (03) estimados de varianza: analistas, equipos y la interacción analistas x equipos.

Los componentes de los cuadrados medios son los siguientes:

Se procede a igualar los componentes con los valores obtenidos en el análisis, asignando a k₁ el valor de 4 ya que se tienen cuatro mediciones dentro de cada combinación analista x equipo y el valor de 8 para k₂ y k₃ por disponerse de ocho mediciones para cada equipo y 8 mediciones para cada analista. Los resultados son: s²_rep = 0.0075; s²_{a x e} = 0.02875, pero para .s²_{entre equipos} y s²_{entre analistas} se deberá asignar valores de 0 por no poderse tener estimadores de varianza negativos para equipos y/o analistas.

La varianza de reproducibilidad (s²_reprod) es la suma de las varianzas estimadas, es decir, s²_rep + s²_{a x e} + s²_{entre analistas} + s²_{entre equipos} que se traduce en un valor de 0.03625. La desviación estándar de reproducibilidad (s_reprod) es la raíz cuadrada de ese valor, 0.1904 y el valor crítico de reproducibilidad es 2.8 •.0.1904 = 0.5331.

Como se puede observar, con mayores términos en la función lineal, su varianza tiende a incrementarse. Este es el principio de la incertidumbre: a mayor número de fuentes de variación incorporadas en su estimación, el estimado tiende a incrementarse, aspecto que será tratado en posteriores notas técnicas.

Referencias

1. COVENIN.2972-2. 1997. Exactitud (Veracidad y Precisión) de Métodos de Medición y Resultados. Parte 2: Método Bási­co para la Determinación de Repetibilidad y Reproducibilidad de un Método Estándar de Medición.        [ Links ]

2. Mendenhall, W. 1975. Introduction to Probability and Statistics. Cuarta edición. Duxbury Press. 460 pp        [ Links ]

3. Miller, N. J. y Miller J. C. 2002. Estadística y Quimiometría para Química Analítica. Cuarta edición. Prentice Hall. 296 pp        [ Links ]

4. Portuondo, Y. y J. Portuondo. 2010. La Repetibilidad Y Reproducibilidad en el Aseguramiento de la Calidad de los Procesos de Medición. Tecnología Química. Vol. XXX, No. 2, 117 – 121.        [ Links ]

5. Sokal, R. R. y F. J. Rohlf. 1981. Biometría: los Principios y la Práctica de Estadísticas en la Investigación Biológica. Segunda edición. WH Freeman and Co. 400 pp.        [ Links ]