Modelos de Markov aplicados a la investigación en Ciencias de la Salud

Ricardo Ocaña-Riola ¹

¹ Doctor en Matemáticas, Universidad de Barcelona, España. Profesor, Escuela Andaluza de Salud Pública, Granada, España. Dirección: Escuela Andaluza de Salud Pública, Campus Universitario de Cartuja, Cuesta del Observatorio 4, Apdo. de Correos 2070, 18080 Granada, España. e-mail: ricardo.ocana.easp@juntadeandalucia.es 

RESUMEN

En ciencias de la salud, muchas variables de interés muestran cambios en el tiempo. Predecir qué valor futuro alcanzará una variable bajo determinadas condiciones iniciales constituye una importante fuente de información para la investigación básica y aplicada, al igual que para la toma de decisiones en la gestión de servicios de salud y la atención sanitaria. Los procesos estocásticos son secuencias de variables aleatorias observadas en sucesivos instantes de tiempo, y los modelos de Markov permiten estudiar la evolución temporal de cualquier proceso cuyo estado futuro dependa solo del estado en que se encuentre en el presente, pero no de su historia pasada. Desde comienzos del siglo XX sus aplicaciones en el ámbito sanitario han sido múltiples, siendo una línea de investigación de interés en la actualidad tanto a nivel teórico como aplicado. El objetivo de este trabajo es mostrar los modelos markovianos utilizados con mayor frecuencia en ciencias de la salud, prestando especial atención a los métodos de estimación, la interpretación de resultados y el software disponible para su aplicación. Desde un punto de vista práctico se abordan cuatro aspectos fundamentales para llevar a cabo análisis de datos basados en modelos de Markov, a saber: definición de los estados del proceso y los mecanismos de transición entre ellos, selección del modelo más apropiado, determinación de las probabilidades de transición entre estados y descripción de la evolución temporal del proceso.

Markov models applied to health sciences research

SUMMARY

Many variables of interest in health sciences change with time. Understanding their evolution and predicting their future status under certain initial conditions provide key information that is extremely useful in health research, health management and health care. Stochastic processes are sequences of random variables which change over time and Markov models study the evolution of any process where its future status will depend on its present status alone, but not on its past history. Since the beginning of the XX century there have been numerous applications of this type of processes in health sciences. Today, these kinds of models are an interesting theoretical and applied research line. This paper shows some of the Markov models that are currently the most widely used in the fields of health sciences. The content has been drafted with particular emphasis on the main techniques for analysis, interpretation of results, the usefulness of the models and software available for applications. From a practical standpoint, four essential aspects are taken into account in data analysis based on Markov models: definition of the process states and their transitions, selection of the best model, estimation of transition probabilities between states, and description of the process temporal evolution.

Modelos de Markov aplicados À investigaÇÃO em CiÊncias da SaúdE

RESUMO

Em ciências da saúde, muitas variáveis de interesse mostram mudanças no tempo. Predizer que valor futuro alcançará uma variável sob determinadas condições iniciais constitui uma importante fonte de informação para a investigação básica e aplicada, igual que para a tomada de decisões na gestão de serviços de saúde e a atenção sanitária. Os processos estocásticos são sequências de variáveis aleatórias observadas em sucessivos instantes de tempo, e os modelos de Markov permitem estudar a evolução temporal de qualquer processo cujo estado futuro dependa somente do estado em que se encontre no presente, mas não de sua história passada. Desde o início do seculo XX suas aplicações no âmbito sanitário têm sido múltiplas, sendo uma línha de investigação de interesse na atualidade tanto a nivel teórico como aplicado. O objetivo deste trabalho é mostrar os modelos markovianos utilizados com maior frequência em ciências da saúde, prestando especial atenção aos métodos de estimação, a interpretação de resultados e o software disponível para sua aplicação. Desde o ponto de vista prático se abordam quatro aspectos fundamentais para realizar análises de dados basaedos em modelos de Markov, a saber: definição dos estados do processo e os mecanismos de transição entre eles, seleção do modelo mais apropriado, determinação das probabilidades de transição entre estados e descrição da evolução temporal do processo.

PALABRAS CLAVE: Ciencias de la Salud / Investigación Biomédica / Markov / Probabilidad / Procesos Estocásticos.

Recibido: 28/01/2008. Modificado: 05/02/2009. Aceptado: 10/02/2009.

Procesos Estocásticos

Muchas de las variables analizadas en la investigación biomédica muestran valores que cambian con el tiempo. En los modelos de cáncer mamario en ratas, la respuesta al carcinógeno puede ser evaluada observando mensualmente el número de animales que han desarrollado cáncer o midiendo cada semana el crecimiento del tumor hasta completar el periodo de experimentación (Thompson y Sporn, 2002). En humanos, la presión arterial, el número de células CD4 o el estado del paciente durante el transcurso de una enfermedad son variables con evolución temporal.

Habitualmente, el valor que toma la variable X en el tiempo t suele denotarse por X(t). Así, X(t₁)... X(t_k) forman una secuencia denominada proceso estocástico (Lindsey, 2004). Los valores que puede tomar la variable reciben el nombre de estados, de manera que durante su evolución en el tiempo el proceso estará sujeto a cambios de estado o transiciones entre diferentes estados. En la terminología habitual, se denomina espacio de estados a todos los posibles valores que pueda tomar la variable que define el proceso.

El análisis de procesos estocásticos permite predecir el estado en que se encontrará el proceso en el futuro a partir de la información disponible sobre su pasado. La complejidad de estas predicciones depende en gran medida del tipo de proceso; sin embargo, las características de algunos de ellos facilitan su análisis e interpretación. Un caso particular bien estudiado es el proceso de Markov, proceso estocástico cuyo estado futuro dependerá solo del estado en que se encuentre en el presente, pero no de su historia pasada (Feller, 1968; Drake, 1988).

Desde que, en 1906, el matemático ruso Andrei Andreyevich Markov definió por primera vez este tipo de procesos, sus aplicaciones en la investigación biomédica han sido múltiples (Basharin et al., 2004), tanto en la experimentación animal (Carey et al., 2005; Yang y Chao, 2005; Zhai y Morris, 2005; Uchida et al., 2006) como en los estudios en humanos (Trajstman, 2002; Alexandersson et al., 2003; Berg et al., 2004; Kopycka-Kedzierawski y Billings, 2006).

Dependiendo de las condiciones particulares de cada estudio, la metodología para el análisis de datos difiere. Cuando los valores que puede tomar el proceso son discretos suele hablarse de cadenas de Markov, mientras que el término proceso de Markov suele reservarse para procesos con espacio de estados continuo. Aunque la terminología no está estandarizada, la clasificación general de los modelos markovianos puede esquematizarse como se muestra en la Tabla I.

TABLA I

CLASIFICACIóN DE LOS MODELOS DE MARKOV

El objetivo de este trabajo es mostrar los modelos markovianos más utilizados actualmente en el campo de la epidemiología y las ciencias de la salud desde un punto de vista eminentemente práctico, prestando especial atención a las principales técnicas de análisis, la interpretación de resultados, la utilidad de los modelos y el software disponible para su aplicación.

Las cadenas de Markov (Norris, 1998) suelen aplicarse con frecuencia en el campo de la salud, motivo por el que serán tratadas con más detalle en este artículo. Los procesos de Markov presentan una mayor complejidad matemática y su análisis extralimitaría el objetivo de este artículo; sin embargo, el lector interesado puede encontrar interesantes aspectos sobre ellos en otros textos (Karatzas y Schreve, 1991; Tuerlinckx et al., 2001; Lindsey, 2004).

Cadenas de Markov en Tiempo Discreto

Cuando la variable estudiada solo puede tomar valores discretos y su observación en el tiempo se realiza en instantes de tiempo discretos, el proceso estocástico queda representado por X(1), X(2), X(3), ..., siendo X(n) el valor de la variable X en el tiempo n, con n=1, 2, 3, ...

Si el proceso es markoviano, su estado futuro dependerá solo del estado en que se encuentre en el presente, pero no de sus estados o valores pasados. En ese caso, las probabilidades de transición de un estado a otro quedan definidas por

p_ij(n)= P[X(n+1)=j|X(n)=i]i,j=1, 2,..., m

donde p_ij(n): probabilidad de que la variable X tome el valor j en el tiempo de observación n+1 si en el momento actual, n, su valor es i. En otras palabras, p_ij(n) es la probabilidad de que el proceso cambie del estado i al estado j en el instante de tiempo n.

La evolución de la cadena de Markov quedará determinada conociendo estas probabilidades para cada tiempo n, formando la matriz de transición P(n) dada por

Por tratarse de probabilidades, todos los elementos de la matriz de transición tienen que estar entre 0 y 1, y la suma de los valores de cada fila ha de ser igual a 1. Es lo que se denomina una matriz estocástica.

En el proceso descrito, las probabilidades de transición cambian con el tiempo, es decir, hay una matriz de transición distinta para cada tiempo de observación. Es lo que ocurre en las epidemias víricas como las de varicela, donde la probabilidad de pasar de estar enfermo a estar sano será casi 0 el primer día de la enfermedad y próxima a 1 cuando han pasado entre 7 y 10 días después de los primeros síntomas (Arvin y Gershon, 2001). Cuando esto ocurre se tendrá una cadena de Markov discreta no homogénea.

Cuando las probabilidades de transición no cambian con el tiempo, la probabilidad de pasar de un estado i a otro j será la misma en todos los instantes de observación del proceso. En ese caso se tendrá una única probabilidad de transición p_ij constante en el tiempo tal que p_ij= p_ij(1)=p_ij(2)=... =p_ij(n). El proceso será entonces una cadena de Markov homogénea o estacionaria en tiempo discreto, con una única matriz de transición dada por

Análisis de cadenas de Markov homogéneas en tiempo discreto

Desde comienzos de los años 80, el SIDA se ha convertido en una de las mayores pandemias de nuestra época. En la actualidad, España es uno de los países del oeste de Europa más afectados por el virus (EuroHIV, 2005), por lo que el conocimiento de la evolución futura de la epidemia es un objetivo prioritario para establecer políticas sanitarias adecuadas. Los siguientes apartados muestran cómo llevar a cabo un análisis de la epidemia de VIH-SIDA utilizando una cadena de Markov homogénea con tiempos de observación anuales.

a) Definición de los estados del proceso y los mecanismos de transición entre ellos. Uno de los modelos más sencillos para el estudio de la epidemia de SIDA establece que cada sujeto de la población puede estar exclusivamente en uno de los siguientes estados: susceptible (S), infectado por VIH (VIH), con SIDA (SIDA) o muerto como consecuencia de la enfermedad (M).

El sujeto susceptible no está infectado (estado 1, -S-). Tras el contacto con un infectado desarrollará la infección y podrá contagiar a otros individuos de la población (estado 2, -VIH-). Cuando el sujeto infectado desarrolla la enfermedad se convertirá en un caso de SIDA (estado 3, -SIDA-), pudiendo morir por causa de la enfermedad (estado 4, -M-). La Figura 1 muestra las posibles transiciones entre estados junto con las probabilidades de transición teóricas.

Figura 1. Estados en la epidemia de VIH-SIDA

Los estados S, VIH y SIDA se denominan transitorios puesto que el individuo nunca volverá a ellos una vez que los abandone para alcanzar otro estado de la enfermedad. El estado M, en cambio, es absorbente ya que los sujetos que lo alcanzan permanecen en él sin posibilidad de cambiar a otro estado.

Este modelo epidémico es una variante de los modelos SIR y Reed-Frost utilizados para estudiar la dinámica de procesos infecciosos en poblaciones (Hurd y Kaneene, 1993; Chen y Bokka, 2005).

b) Selección del modelo markoviano más apropiado para el estudio del proceso. La observación de los sujetos se realiza de forma anual, por lo que tanto los estados como los instantes de tiempo del proceso son discretos. Además, el estado futuro en que se encuentre un individuo dependerá solo de su estado actual, pero no de su historia pasada. Por ello, el proceso estocástico es una cadena de Markov discreta.

Si las políticas de prevención de VIH y las pautas de tratamiento no varían, tanto la incidencia de VIH-SIDA como la tasa de mortalidad entre los casos de SIDA permanecerán constantes, por lo que las probabilidades de transición no cambiarán en el tiempo. Bajo esta hipótesis, la cadena de Markov discreta será además homogénea, siendo éste el modelo markoviano más apropiado para estudiar la evolución de la epidemia.

c) Determinación de las probabilidades de transición entre estados. En epidemias humanas, la matriz de transición suele obtenerse a partir de los datos de población, incidencia, prevalencia y mortalidad publicados en los registros oficiales. En el momento de redactar este trabajo, las últimas cifras registradas sobre la epidemia de VIH-SIDA en España correspondían a 2004 (EuroHIV, 2005), información que será utilizada para calcular las probabilidades de transición.

Los datos publicados muestran que el número estimado de nuevos casos fue de 2750 en una población de 43197684 habitantes, lo que supone una tasa de contagio de 64 casos por millón de habitantes (CNE, 2005). Como consecuencia, p₁₂=0,000064. Según el modelo establecido, un sujeto en estado susceptible no puede pasar directamente al estado SIDA ni al estado M, por tanto. La suma de las probabilidades de una fila de la matriz de transición ha de ser 1, por lo que p₁₁=1-p₁₂-p₁₃-p₁₄=0,999936.

La segunda fila de la matriz corresponde a las transiciones que pueden realizarse desde el estado VIH. Así, un individuo infectado no volverá a ser susceptible, por lo que p₂₁=0. La incidencia de SIDA en 2004 fue de 804 nuevos casos (EuroHIV, 2005) en una población prevalente estimada de 125000 individuos con VIH (Cañas et al., 2003), por lo que p₂₃=0,006432. Siguiendo el modelo propuesto, un sujeto VIH+ no puede pasar directamente al estado M, por tanto p₂₄=0. Además, puesto que los valores de la fila han de sumar 1, se tendrá p₂₂=1-p₂₁-p₂₃-p₂₄=0,993568.

Los sujetos que han desarrollado SIDA no retornarán al estado S o VIH, por tanto p₃₁=p₃₂=0. En 2004 se produjeron 542 muertes entre un total de 6609 casos de SIDA (EuroHIV, 2005), lo que supone p₃₄=0,0082. Por último, p₃₃=1-p₃₁-p₃₂-p₃₄=0,917991.

Puesto que M es un estado absorbente y los sujetos permanecen en él, se tiene p₄₄=1 y p₄₁=p₄₂=p₄₃=0.

La matriz de transición para la epidemia de VIH-SIDA en España será por tanto

d)-Análisis de la evolución de la epidemia en el tiempo. La matriz de transición contiene las probabilidades de paso de un estado a otro en un año, es decir, la probabilidad de que un sujeto susceptible esté infectado al año siguiente es 0,000064. Sin embargo, para conocer la evolución de la epidemia es necesario calcular la probabilidad de que un sujeto susceptible actualmente pueda estar infectado dos años después. Las ecuaciones de Chapman-Kolmogorov (Feller, 1968) permiten calcular estas probabilidades multiplicando la matriz de transición por ella misma y obteniendo la matriz de transición en dos tiempos, es decir

Así, la probabilidad de que un sujeto susceptible en la actualidad esté infectado dos años después es 0,000128 o, de forma equivalente, dentro de dos años habrá 128 nuevos infectados por millón de habitantes. Análogamente, es posible calcular la probabilidad de que un individuo que actualmente se encuentra en un estado esté en otro determinado dentro de tres años, a partir de la matriz de transición en tres tiempos P⁽³⁾=P⁽²⁾´P. En general, la matriz de transición en n tiempos no es más que un producto sucesivo de matrices dado por P⁽ⁿ⁾=P^(n-1)´P, con n³2 un número entero.

El curso que seguirá la evolución de la epidemia en el tiempo dependerá de las condiciones iniciales de la población estudiada con respecto al virus, es decir, de la distribución actual de los individuos en cada uno de los estados de la enfermedad. En 2004 había en España 43065533 de sujetos susceptibles, 125000 personas vivas infectadas con VIH, 6609 casos de SIDA y 542 muertes causadas por la enfermedad. Estas cifras conforman el vector de casos prevalentes iniciales que constituyen el punto de partida para estudiar la evolución futura de la epidemia. Este vector está representado por v=(43065533, 125000, 6609, 542) y la suma de todos sus valores ha de coincidir con la población total estudiada, dada por 43 197 684 habitantes. El número de sujetos que habrá en cada uno de los estados de la enfermedad dentro de n años viene dado por el producto del vector de prevalencias iniciales y la matriz de transición en n tiempos, es decir, v´P⁽ⁿ⁾ (Lindsey, 2004; Norris, 1998).

En el estudio de epidemias poblacionales, la manera más habitual de expresar el vector de prevalencias iniciales es como número de casos por millón de habitantes, es decir, v=(996940, 2894, 153, 13). La Figura 2 muestra la evolución de la epidemia tomando este vector como punto de partida y calculando las tasas por millón para cada uno de los estados de la enfermedad hasta 2024, veinte años después del inicio del estudio. Para cada año, esta tasa viene dada por v´P⁽ⁿ⁾ con n=1, ... , 20.

Figura 2. Predicciones sobre la evolución de la epidemia de VIH-SIDA en España

Si la incidencia y mortalidad de VIH-SIDA no se modifica, los casos de VIH y SIDA seguirán una tendencia creciente en España. En 2024 el número de infectados por VIH habrá ascendido a 3744 por millón de habitantes, el número de enfermos de SIDA será de 248 por millón de habitantes y las muertes por SIDA llegarán a ser de 46 por millón de habitantes. Estas cifras significan que en 20 años el número de infecciones se habrá incrementado en un 29%, los casos de SIDA aumentarán un 62% y las muertes por la enfermedad serán un 154% superior.

Modificando el vector de prevalencias iniciales se pueden obtener diferentes simulaciones de la evolución hipotética de la epidemia en España. Conocer qué ocurriría en el futuro si la situación actual fuese diferente constituye una importante fuente de información para la toma de decisiones, siendo ésta una de las principales aportaciones de los modelos markovianos a la investigación biomédica.

Análisis de cadenas de Markov no homogéneas en tiempo discreto

Algunos modelos animales de aprendizaje utilizan un laberinto en T con un punto de salida y dos metas situadas en cada uno de los extremos del laberinto. El investigador define una de estas metas como correcta, de manera que cada vez que el animal se dirige a ella obtiene un refuerzo positivo que habitualmente suele ser comida o agua (Dickinson, 1980; Domjan y Burkhard, 1986). La repetición del experimento permite obtener la curva de aprendizaje utilizando cadenas de Markov no homogéneas como se describe a continuación.

Supongamos un modelo de aprendizaje como el anterior realizado cinco veces consecutivas con 20 ratas adultas. En cada una de las repeticiones del experimento se anota el extremo del laberinto elegido por cada rata, definiendo la elección como correcta (C) si llevaba hasta el refuerzo positivo o incorrecta (I) en caso contrario. El objetivo es comprobar si la rata aprende a dirigirse al brazo en el que se sitúa la comida y estudiar la evolución de la curva de aprendizaje en el tiempo.

a) Definición de los estados del proceso y los mecanismos de transición entre ellos. En el modelo animal de aprendizaje, el espacio de estados está compuesto por dos alternativas: elección del brazo correcto (estado 1, -C-) o incorrecto (estado 2, -I-). Cada vez que se repite el experimento el animal puede optar por cualquiera de las dos opciones, pudiendo repetir la misma opción varias veces consecutivas. La Figura 3 muestra las posibles transiciones entre ambos estados, denominados recurrentes puesto que aunque la rata haya elegido cualquiera de ellos una vez puede volver a elegirlo en otras repeticiones del experimento.

Figura 3. Estados en un modelo animal de aprendizaje en ratas.

b) Selección del modelo markoviano más apropiado para el estudio del proceso. El experimento se realiza cinco veces consecutivas, tomando cada repetición como un tiempo de observación. En este caso, tanto los estados como los instantes de tiempo del proceso son discretos. Además el brazo del laberinto que elija la rata en la siguiente repetición del experimento dependerá sólo de la elección actual, pero no de las decisiones pasadas. Por ello, el proceso estocástico es una cadena de Markov discreta.

Si la repetición del experimento hace que el animal aprenda a elegir el camino correcto, la probabilidad de acertar en la siguiente repetición si la elección anterior fue errónea no será la misma al inicio que al final del experimento. Bajo esta hipótesis, las probabilidades de transición entre estados no serán constantes en el tiempo, por lo que la cadena de Markov discreta será además no homogénea. Habrá por tanto una matriz de transición para cada una de las repeticiones del experimento.

c) Determinación de las probabilidades de transición entre estados. En modelos de este tipo, las probabilidades de transición suelen estimarse mediante estudios longitudinales diseñados para llevar a cabo el objetivo. En este caso el experimento se realizó en 20 ratas, de las cuales 10 (50%) eligieron el brazo del laberinto correcto en la prueba inicial (Tabla II). Las 10 obtuvieron el refuerzo positivo.

TABLA II

MATRICES DE TRANSICIóN EN UN MODELO ANIMAL DE APRENDIZAJE ESPACIAL EN RATAS

Al repetir el experimento por primera vez, 6 de las 10 ratas que inicialmente eligieron el brazo correcto del laberinto volvieron a elegir esta opción, por lo que p₁₁(1)=0,60. A pesar de que inicialmente seleccionaron el camino correcto, el resto de ratas tomó el brazo incorrecto en esta primera repetición, de manera que p₁₂(1)=0,40 (Tabla II).

De las 10 ratas que inicialmente tomaron el brazo incorrecto del laberinto, 2 cambiaron de opción al repetir el experimento, por lo tanto p₂₁(1)=0,20. Por ser complementarios se tiene p₂₂(1)=0,80 (Tabla II).

La Tabla II muestra las cuatro matrices de transición obtenidas en cada una de las repeticiones del experimento, cuya interpretación es similar a la que se acaba de hacer.

d) Análisis de la evolución del aprendizaje. Al igual que en el caso de las cadenas de Markov homogéneas, las ecuaciones de Chapman-Kolmogorov (Feller, 1968) permiten calcular la matriz de transición en n tiempos, dada por P⁽ⁿ⁾. Con ella es posible conocer la probabilidad de que una rata elija el brazo correcto del laberinto la vez n que se repite el experimento (tiempo n) si en la primera repetición (tiempo 1) elige el brazo incorrecto. Esta matriz de transición en n tiempos está dada por el producto de todas las matrices de transición anteriores al tiempo n, es decir, P⁽ⁿ⁾=P(1)´P(2)´...´P(n). Así, la matriz de transición en 2 tiempos viene dada por

de manera que si una rata que elige el brazo incorrecto del laberinto la primera vez que se repite el experimento, la probabilidad de elegir correctamente la segunda vez es p⁽²⁾₂₁=0,49.

Las matrices de transición en tres y cuatro tiempos serán respectivamente P⁽³⁾=P⁽²⁾´P(3) y P⁽⁴⁾=P⁽³⁾´P(4). El concepto es similar al que se vio para las cadenas de Markov homogéneas. La única diferencia es que entonces las matrices de transición multiplicadas eran idénticas ya que, al tratarse de un proceso homogéneo, no cambiaban con el tiempo.

Las condiciones de partida del proceso marcarán la curva de aprendizaje de las ratas, de manera que si inicialmente el 50% de los animales eligieron el brazo del laberinto correcto y el 50% el incorrecto, el vector de probabilidades iniciales es v=(0,50;0,50).

La probabilidad de elegir el brazo correcto o incorrecto cuando el experimento se haya repetido n veces viene dada por el producto del vector de probabilidades iniciales y la matriz de transición en n tiempos, es decir, v´P⁽ⁿ⁾ con n=1, 2, 3, 4.

La Figura 4 muestra la curva de aprendizaje de las ratas, donde se observa una tendencia creciente a elegir el brazo correcto a medida que se repite el experimento. Tras cuatro repeticiones, la probabilidad de que una rata elija el brazo del laberinto que le lleva hasta el refuerzo positivo es 0,90. El 10% de los animales elegirán la opción contraria.

Figura 4. Curva de aprendizaje en un modelo experimental de aprendizaje espacial en ratas.

Cadenas de Markov en Tiempo Continuo

En ocasiones, los cambios de estado de una variable pueden producirse en cualquier momento, no solo en tiempos discretos, de manera que el proceso estocástico queda representado por una sucesión de valores X(t) que representan el valor de la variable X en cualquier instante de tiempo t, con t³0.

De forma análoga a las cadenas de Markov discretas, si el proceso es markoviano las probabilidades de transición de un estado a otro quedan ahora definidas por p_ij(t, t+h)=P[X(t+h)=j|X(t)=i]i,j=1, 2,..., m.

Así, si en el tiempo t la variable se encuentra en el estado i, p_ij(t, t+h) es la probabilidad de que entre t y t+h se produzca un cambio al estado j, siendo h un incremento de tiempo muy pequeño cercano a 0. En definitiva se trata de probabilidades de transición instantáneas.

En el proceso descrito, el valor de estas probabilidades de transición depende del instante t en el que se produce el salto, es decir, la probabilidad instantánea de pasar del estado i al estado j es diferente en los tiempos t=0, t=1,72, t=4,21, etc. Se tendrá por tanto una cadena de Markov continua no homogénea. Sin embargo, si las probabilidades de transición entre estados no dependen del tiempo se tendrá una cadena de Markov continua homogénea o estacionaria, en cuyo caso p_ij(h)=P[X(t+h)=j|X(t)=i]i,j= 1, 2,..., m.

Ambos tipos de modelos, homogéneos y no homogéneos, se han aplicado en estudios de genética (De Gruttola y Foulkes, 2004; Tyvand y Thorvaldsen, 2006), investigaciones sobre la carga viral de pacientes con VIH (Mathieu et al., 2005) o variaciones en el estado de personas asmáticas (Combescure et al., 2003; Saint-Pierre et al., 2006), entre otros. Sin embargo, la estimación de las probabilidades de transición y los gráficos de la evolución del proceso en el tiempo no son tan sencillos de obtener como en las cadenas de Markov discretas, especialmente para los modelos no homogéneos.

En las últimas décadas, muchos autores han propuesto diferentes técnicas de análisis para este tipo de procesos estocásticos, entre las que se encuentran la resolución de ecuaciones diferenciales (Feller, 1968; Drake, 1988), algoritmos basados en datos de panel (Kalbfleisch y Lawless, 1985; Ocaña-Riola, 2005), métodos paramétricos y aproximaciones no paramétricas (Frydman, 1992; Commenges, 2002). Muchos de estos métodos están basados en complejas ecuaciones matemáticas que no se encuentran incorporadas en los programas informáticos habituales para el análisis de datos biomédicos, motivo por el que en los últimos años se están desarrollando macros específicos que permitan aplicar algunos de estos modelos con un menor esfuerzo (Hui-Min et al., 2004).

Actualmente, tanto las cadenas de Markov en tiempo continuo como los procesos de Markov con espacio de estados continuos constituyen importantes líneas de investigación, siendo de especial interés el desarrollo de nuevos métodos de estimación y la implementación de software específico que facilite el análisis de la información (Karatzas y Schreve, 1991; Tuerlinckx et al., 2001; Lindsey, 2004).

Aspectos Adicionales en el Análisis de Modelos de Markov

Para aplicar los métodos descritos anteriormente es necesario verificar que el proceso cumple la propiedad de Markov. Con las parametrizaciones adecuadas, cualquier proceso estocástico puede expresarse como un modelo lineal generalizado autoregresivo donde los valores pasados actúan como variables explicativas del estado actual del proceso (Hardin y Hilbe, 2006). Para comprobar si la cadena es de Markov bastará con verificar que todos los coeficientes de regresión del modelo son 0 excepto el que corresponde al estado del proceso en el instante de tiempo anterior, en cuyo caso se tendrá un modelo autoregresivo de primer orden equivalente a la propiedad de Markov.

En general, las cadenas de Markov homogéneas son más fáciles de modelar que las no homogéneas. Sin embargo, no es buena práctica asumir la homogeneidad del proceso sin una comprobación previa que garantice el uso apropiado de modelos estacionarios. El test propuesto por Kalbfleisch y Lawless (1985) suele ser el más utilizado para verificar esta hipótesis. En él se compara el número de transiciones observadas en cada tiempo con el número de transiciones esperadas bajo la hipótesis de homogeneidad, obteniendo un test de razón de verosimilitudes basado en la distribución Chi-cuadrado.

Cualquier software que permita programar macros puede ser utilizado para el análisis de cadenas de Markov de cualquier tipo. SAS (www.sas.com), Stata (www.stata.com), SPLUS (www.insightful.com) o R (www.r-project.org) suelen ser los programas informáticos más usados para este propósito, con la ventaja de que para algunos de ellos ya existen rutinas específicas a disposición de los investigadores interesados (Hui-Min et al., 2004; Lindsey, 2004). En cualquier caso, el manejo de estos programas requiere algunos conocimientos de programación informática, especialmente si se desea implementar nuevos macros aún no desarrolladas por otros autores.

Otros programas específicos como Relex Markov (www.relex.com), DecisionPro (www.vanguardsw.com) o TreeAge Pro (www.treeage.com) han sido diseñados exclusivamente para el análisis de cadenas de Markov. Son programas fáciles de utilizar; sin embargo, algunos de ellos están enfocados únicamente al análisis de cadenas de Markov en tiempo discreto.

El uso de uno u otro software dependerá en gran medida de la complejidad del estudio y de las necesidades del investigador (Hazen, 2002; Adalsteinsson et al., 2004).

AGRADECIMIENTOS

Humana Press, a través de Springer Rights and Permissions, ha autorizado la traducción y el uso de material procedente de Ricardo Ocaña-Riola (2008) para este trabajo.

REFERENCIAS

1. Adalsteinsson D, McMillen D, Elston TC (2004) Biochemical Network Stochastic Simulator (BioNetS): Software for stochastic modeling of biochemical networks. BMC Bioinformatics 5: 24.        [ Links ]

2. Alexandersson M, Cawley S, Pachter L (2003) SLAM: Cross-species gene finding and alignment with a generalized pair hidden Markov model. Genome Res. 13: 496-502.        [ Links ]

3. Arvin AM, Gershon AA (2001) Varicella-Zoster Virus: Virology and Clinical Management. Cambridge University Press. Cambridge, RU. 556 pp.        [ Links ]

4. Basharin GP, Langville AN, Naumov VA (2004) The life and work of A.A. Markov. Lin. Alg. Appl. 386: 3-26.        [ Links ]

5. Berg AT, Lin J, Ebrahimi N, Testa FM, Levy SR, Shinnar S (2004) Modelling remission and relapse in pediatric epilepsy: application of a Markov process. Epilepsy Res. 60: 31-40.        [ Links ]

6. Cañas EJ, García-León FJ, Andérica-Frías G (2003) Epidemiología de la infección VIH y SIDA. En Pachón J, Pujol E, Rivero A (Eds) La Infección por el VIH: Guía Práctica. 2ª ed. Sociedad Andaluza de Enfermedades Infecciosas. Sevilla, España. 614 pp.        [ Links ]

7. Carey JR, Liedo P, Müller HG, Wang JL, Zhang Y, Harshman L (2005) Stochastic dietary restriction using a Markov chain feeding protocol elicits complex, life history response in medflies. Aging Cell 4: 31-39.        [ Links ]

8. Chen WY, Bokka S (2005) Stochastic modelling of nonlinear epidemiology. J. Theor. Biol. 234: 455-470.        [ Links ]

9. CNE (2005) Valoración de la epidemia de VIH en España a partir de los sistemas de notificación de casos de las Comunidades Autónomas. Centro Nacional de Epidemiología. Madrid, España. 6 pp.        [ Links ]

10. Combescure C, Chanez P, Saint-Pierre P, Daures JP, Proudhon H, Godard P (2003) Assessment of variations in control of asthma over time. Eur. Respir. J. 22: 298-304.        [ Links ]

11. Commenges D (2002) Inference for multi-state models from interval-censored data. Stat. Meth. Med. Res. 11: 167-182.        [ Links ]

12. De Gruttola V, Foulkes AS (2004) Validation and discovery in Markov models of genetics data. Stat. Appl. Genet. Mol. Biol. 3: Article 38.        [ Links ]

13. Dickinson A (1980) Contemporary Animal Learning Theory. Cambridge University Press. Cambridge, RU. 188 pp.        [ Links ]

14. Domjan M, Burkhard B (1986) The Principles of Learning and Behavior. Brooks-Cole. Monterrey, CA, EEUU. 448 pp.        [ Links ]

15. Drake AW (1988) Fundamentals of Applied Probability Theory. McGraw-Hill. Nueva York, NY, EEUU. 256 pp.        [ Links ]

16. EuroHIV (2005) HIV/AIDS Surveillance in Europe (End-year report 2004). Institut de Veille Sanitaire. Saint-Maurice, Suecia. 72 pp.        [ Links ]

17. Feller WF (1968) An Introduction to Probability Theory and its Applications, 3^a ed., vol. I. Wiley. Nueva York, NY, EEUU. 509 pp.        [ Links ]

18. Frydman H (1992) A nonparametric estimation procedure for a periodically observed three-state Markov process with application to AIDS. J. Roy. Stat. Soc. B 54: 853-866.        [ Links ]

19. Hardin J, Hilbe J (2006) Generalized Linear Models and Extensions. 2^a ed. State Press. College Station, TX, EEUU. 387 pp.        [ Links ]

20. Hazen GB (2002) Stochastic trees and the StoTree modeling environment: Models and software for medical decision analysis. J. Med. Syst. 26: 399-413.        [ Links ]

21. Hui-Min W, Ming-Fang Y, Chen TH (2004) SAS macro program for non-homogeneous Markov process in modelling multi-state disease progression. Comput. Meth. Progr. Biomed. 75: 95-105.        [ Links ]

22. Hurd HS, Kaneene JB (1993) The application of simulation models and systems analysis in Epidemiology: A review. Prev. Vet. Med. 15: 81-99.        [ Links ]

23. Kalbfleisch JD, Lawless JF (1985) The analysis of panel data under a Markov assumption. J. Am. Stat. Assoc. 80: 863-871.        [ Links ]

24. Karatzas I, Schreve SE (1991) Brownian Motion and Stochastic Calculus, 2^a ed. Springer. Nueva York, NY, EEUU. 470 pp.        [ Links ]

25. Kopycka-Kedzierawski DT, Billings RJ (2006) Application of nonhomogeneous Markov models for analysing longitudinal caries risk. Commun. Dent. Oral. Epidemiol. 34: 123-129.        [ Links ]

26. Lindsey JK (2004) Statistical analysis of stochastic processes in time. Cambridge University Press. Cambridge, RU. 338 pp.        [ Links ]

27. Mathieu E, Loup P, Dellamonica P, Daures JP (2005) Markov modelling of inmunological and virological states in HIV-1 infected patients. Biometr. J. 47: 834-846.        [ Links ]

28. Norris JR (1998) Markov Chains. Cambridge University Press. Cambridge, RU. 256 pp.        [ Links ]

29. Ocaña-Riola R (2005) Non-homogeneous Markov processes for biomedical data analysis. Biometr. J. 47: 369-376.        [ Links ]

30. Ocaña-Riola R (2008) Markov processes for biomedical data analysis. En Conn M (Ed.) Source Book of Models for Biomedical Research. Humana. Nueva Cork, NY, EEUU. pp. 739-745.        [ Links ]

31. Saint-Pierre P, Bourdin A, Chanez P, Daures JP, Godard P (2006) Are overweight asthmatics more difficult to control? Allergy 61: 79-84.        [ Links ]

32. Thompson H, Sporn MB (2002) Mammary cancer in rats. En Teicher BA (Ed.) Tumor Models in Cancer Research. Humana Press. Totowa, NJ, EEUU. pp. 173-181.        [ Links ]

33. Trajstman AC (2002) A Markov chain model for Newcastle disease and its relevance to the intracerebral pathogenicity index. Biometr. J. 44: 43-57.        [ Links ]

34. Tuerlinckx F, Maris E, Ratcliff R, De Boeck P (2001) A comparison of four methods for simulating the diffusion process. Behav. Res. Meth. Instr. Comput. 33: 443-456.        [ Links ]

35. Tyvand PA, Thorvaldsen S (2006) Markov model of haploid random mating with given distribution of population size. Bull. Math. Biol. 68: 807-819.        [ Links ]

36. Uchida G, Fukuda M, Tanifuji M (2006) Correlated transition between two activity state of neurons. Phys. Rev. E. Stat. Nonlin. Soft. Matt. Phys. 73(3 Pt 1).        [ Links ]

37. Yang HC, Chao A (2005) Modelling animal’s behavioural response by Markov chain models for capture-recapture experiments. Biometrics 61: 1010-1017.        [ Links ]

38. Zhai J, Morris RW (2005) A Markov chain model for animal estrus cycling data. Biometrics 61: 141-150.        [ Links ]