Amplitud de intervalos de confianza obtenidos por bonferroni de acuerdo al número de variables y del tamaño de la muestra en poblaciones multinormales.

Amplitude of confidence intervals obtained by bonferroni according to the number of variables and sample size in multinormal populations.

Santiago Armas^*,1 y Lusbi Herrera^**

^* Facultad de Ciencias Veterinarias. Venezuela.

^** Facultad de Agronomía. Universidad Central de Venezuela. Venezuela.

¹ A quien debe dirigirse la correspondencia (To whom correspondence should be addressed ) Correo-E:s.armas@mailcity.com

Resumen

Frecuentemente los investigadores en el área de la Medicina Veterinaria diseñan sus trabajos experimentales dentro del campo multivariado, lo cual implica que deben seleccionar las variables de interés y el tamaño de la muestra apropiado. Sin embargo, con relación a este último aspecto no siempre es posible disponer –por diferentes limitaciones- de tamaños de muestras grandes. Un aspecto importante de la inferencia estadística es la estimación de parámetros por intervalos de confianza. En el campo multivariado, se estudió la amplitud de los intervalos de confianza. Una alternativa para calcular estos intervalos de confianza fué a través del uso de  la desigualdad de Bonferroni, la cual tiene la ventaja de  garantizar  un   coeficiente   de  confianza   conjunto  de  al  menos 100(1- α)%. Estos intervalos de confianza serán más precisos cuanto más estrechos sean.  Para este estudio se consideraron tres matrices de varianzas y covarianzas Σ cuyas estructuras corresponden a: ρ_ij= 0,25, 0,65 y 0,85; número de variables p=2, 3, 4 y 5 y tamaños de muestra n=10, 15, 20, 25 y  30. En cuanto a la amplitud de los intervalos obtenidos, se concluye que a medida que aumenta la correlación entre las variables o los tamaños de las muestras los intervalos son más estrechos. Por último, se observó que al aumentar el número de variables, los intervalos son más amplios.

(Palabras clave: Intervalos de confianza,  Métodos estadísticos, población animal)

Abstract

Frequently, scientists in the field of Veterinary Sciences design their experimental work using multivariate analysis, which implies the selection of variables of interest and an adequate sample size. Nonetheless, for different reasons, large sample sizes are not always available. An important feature of statistical inference is the estimation of parameters by confidence intervals. By using a multivariate analysis, we resorted to the use of  the Bonferroni´s inequality method, as an alternative to study confidence intervals. This method has the advantage of warranting a simultaneous confidence coefficient of at least 100 (1-α)%. The narrower the intervals are, the more accurate they will be. In this study, 3 matrixes of variances and covariance Σ were used. Their structures correspond to: ρ_ij=0.25, 0.65 and 0.85; number of variables p= 2, 3, 4 and 5; and sample sizes n =10, 15, 20, 25 y 30. In reference to the interval amplitude obtained, it is concluded that as the correlation among variables or sample size increase, the intervals are narrower. Finally, it was observed that when the number of variables increases, the intervals are wider.

(Key words: Confidence intervals,  Statistical methods, animal population)

Recibido: 26/03/08 -  Aprobado: 29/10/08

Introducción

Muy poco se ha investigado y desarrollado en el campo de la Estadística Multivariada para el área de las Ciencias Veterinarias; por el contrario, si se ha trabajado bastante en el caso de la Bioestadística univariada. Sin embargo, casi todos los investigadores, incluyendo los del área veterinaria, cometen el error de realizar análisis individuales a sus datos, obviando la posible correlación que debe existir entre ellos.

A este respecto algunos autores hacen uso de los métodos multivariados para los respectivos análisis, por ejemplo, Zanine et al. (2006), realizaron un trabajo para evaluar diferencias entre gramíneas para la alimentación de bovinos, utilizando el análisis multivariado con la finalidad de evaluar la significación entre los vectores de medias de dos tratamientos y obtuvieron resultados altamente significativos de las cuatro pruebas (Hotelling-Lawley, Pillai, Wilks y Roy), demostrando que en los vectores de medias de tratamientos existía por lo menos un vector que difería de los demás.

Utilizaron análisis de la varianza canónico y la prueba de Scheffé para probar diferencias entre las medias utilizando los intervalos de confianza simultáneos de Bonferroni para calcular las diferencias entre las medias de 12 tratamientos para cada variable.

Armas y Herrera (2006), determinaron el efecto de los tamaños de las muestras sobre la amplitud de los Intervalos de Confianza y en otra investigación realizada por los mismos autores en el 2007, estudiaron el efecto del número de variables sobre la amplitud de los Intervalos de Confianza. En ambos trabajos hicieron la comparación de los métodos Unión-Intersección y de Bonferroni en cuanto a la amplitud de dichos intervalos, tomando en consideración el grado de correlación existente entre las distintas variables respuestas, obteniendo como resultado, tanto para los distintos tamaños de muestra como para los diferentes números de variables, que al aumentar la correlación entre las variables, se obtienen amplitudes de los intervalos de confianza más estrechas, lo que indica mayor precisión en la estimación. Esos estudios confirmaron la importancia de recurrir a la estadística multivariada cuando en una investigación se tenga mas de una variable respuesta.

Con relación al tamaño de lasmuestra, Armas y Herrera (2006, 2007), obtuvieron como resultado, que al aumentar los tamaños se obtuvieron amplitudes de los intervalos de confianza más estrechos, lo cual era de esperarse, ya que a mayores tamaños de muestra la estimación es más precisa. Igualmente, se observó que al aumentar el número de variables se obtienen amplitudes más amplias.

Complementando estos trabajos, se decidió estudiar simultáneamente los efectos tanto de los tamaños de las muestras y del número de variables, sobre la amplitud de los intervalos de confianza obtenidos utilizando la desigualdad de Bonferroni. Morrison (1967), desarrolló y describió los intervalos de confianza simultáneos para los casos de análisis de varianza de una y dos vías. Este autor también trabajó con el método de Bonferroni para hacer inferencias simultáneas acerca de un número m finito de funciones lineales a'm. Esta familia de intervalos tiene la forma:

       

y éste tiene un coeficiente de confianza conjunto de al menos, 100 (1 - a)%.

Así mismo, Herrera (1986), reportó la utilización de las desigualdades de Bonferroni con aplicaciones prácticas. Indicó  que  se  pueden utilizar  las  desigualdades de Bonferroni para hacer inferencias simultáneas acerca de un número finito m de combinaciones lineales de m₁, m₂,..... m_p (a´m), donde los m intervalos

tienen un coeficiente de confianza conjunto de al menos 100 (1 - a)%.

En el campo univariado, Spurrier (1999) realizó un trabajo para comparar los métodos Scheffé, Tukey y Dunnett en cuanto a los límites de confianza para todos los contrastes de medias de tratamientos.

Peña (2002), desarrolló un trabajo donde describe cómo realizar el contraste de varias medias (análisis de varianza multivariante). Rencher (2002), comparó las pruebas de hipótesis multivariadas y univariadas para uno o dos vectores de medias con s conocida y describió igualmente la prueba T² de Hotelling.

En un curso en la Universidad Nacional de Colombia (2008), se indica que el método de Bonferroni se utiliza frecuentemente cuando se quiere realizar un número pequeño de comparaciones. Suponga que un experimentador quiere hacer p comparaciones.

H0: Cq = 0;  q = 1, 2, ..., p;   entonces se rechaza

H0: Cq = 0;  q = 1, 2, ..., p  si

Los autores indicaron que este procedimiento implica un serio problema que debe ser tratado con cuidado, es decir, si todas las pruebas se ejecutan a un nivel de significación a, la probabilidad general de hacer al menos un rechazo incorrecto, indicado por a´, es mayor que a y su valor generalmente es desconocido. Sin embargo, se puede demostrar que siempre que se realice un conjunto de prueba C, cada uno de ellos con nivel de significación a, a´ es como máximo 1 – (1- a)^c.

Para la construcción de los intervalos, es necesario contar con datos o variables que  cumplan con los requisitos básicos para la aplicación de la estadística paramétrica multivariada, es decir, el vector Y de variables aleatorias está distribuido multinormalmente con vector de medias m y matriz de varianzas y covarianzas S, lo cual se expresa Y ~ MN (m , S), donde Y es un vector de variables aleatorias;  por  lo que se  diseñó, construyó y evaluó un simulador eficiente en lenguaje Turbo-Pascal, con el cual se generaron las correspondientes muestras cuyas variables tienen una distribución multinormal.

Hong et al. (2008), señalaron que aunque es bien conocido que los métodos modernos de cálculo de Intervalos de Confianza (IC) basados en máxima verosimilitud o simulación tienen ventajas importantes, los procedimientos de Intervalos de Confianza por aproximación a la normal (NACPs), están siendo ampliamente utilizados. Señalaron que esto se debe a que los Intervalos de Confianza obtenidos por NACPs son fáciles de calcular e interpretar. Es importante señalar que estos autores indicaron que cuando el tamaño de la muestra no es grande el uso del NACPs puede ser deficiente. Se puede aplicar una transformación para mantener los límites de los IC dentro del espacio del parámetro y mejorar el desarrollo, pero el grado de mejora depende de la función escogida.

Materiales y Métodos

Al igual que los trabajos realizados anteriormente  (Armas y Herrera, 2006, 2007), en éste se utilizaron las mismas matrices de variancias y covarianzas y los mismos vectores de medias, para obtener a través del método descrito por De Melo (1985), los datos utilizados en el presente trabajo.

Primeramente, fue necesario generar las muestras aleatorias que contienen las variables y a partir de las muestras se calcularon los Intervalos de Confianza utilizando la desigualdad de Bonferroni, para determinar la fiabilidad de este método utilizado por los investigadores en la estimación de parámetros, en particular los trabajos desarrollados en las Ciencias Veterinarias. Para ello se construyó un programa computacional que simuló muestras aleatorias cuyas variables tenían distribución multinormal. El lenguaje de programación seleccionado fue el Turbo Pascal versión 6,0 por estar orientado al campo de las matemáticas.

Para simular una variable aleatoria  Zj~N (0,1), se utilizaron 48  variables aleatorias uniformes independientes, distribuidas Yi ~U (1/2, 1/12), donde i = 1, 2, ..., 48. Cada una de estas variables uniformes se obtuvieron por el generador de números aleatorios del Turbo-Pascal.

Se sabe que  ~ U(24, 4) y aplicando el teorema central del límite cada variable Z_j = 

 ~ N(0, 1).

En este trabajo se estudió el efecto del número de variables involucradas, del tamaño de la muestra y de la estructura de la matriz de varianzas y covarianzas sobre la amplitud de los intervalos de confianza obtenidos utilizando la desigualdad de Bonferroni. En tal sentido, se consideraron las siguientes situaciones: número de variables p = 2, 3, 4 y 5; tamaños de muestra n = 10, 15, 20, 25 y 30 y estructura de la matriz   de   varianzas  y   covarianzas   variando   la  correlación  entre  las  variables  rij = 0,25 (baja), rij= 0,65 (moderada) y rij = 0,85 (alta). La matriz S es definida como positiva, lo que indica que todos sus autovalores son mayores que cero.

Para simular los datos multinormales se utilizó el método descrito por De Melo (1985) y se parte de la siguiente información:

con r_ij = 0,25, para todo i ¹ j.

con r_ij = 0,65, para todo i ¹ j.

 

con r_ij = 0,85, para todo i ¹ j.

Todo lo anterior dio un total de 60 combinaciones o casos. Para cada uno se simularon 1000 muestras y de éstas se obtuvo un promedio de la diferencia entre el límite superior y el límite inferior de cada intervalo (amplitud del intervalo).

Los contrastes para los cuales se calcularon los intervalos en todas las combinaciones posibles fueron:

( m₁ – m₂ ), cuando p = 2;

 ( m₁ – m₂ ), ( m₁ – m₃ ) y ( m₂ – m₃ ) cuando p = 3;

 ( m₁ – m₂ ), ( m₁ – m₃ ), ( m₁ – m₄ ), ( m₂ – m₃ ), ( m₂ – m₄ ) y ( m₃ – m₄ )  cuando p = 4  y

 ( m₁ – m₂ ), ( m₁ – m₃ ), ( m₁ – m₄ ), ( m₁ – m₅ ), ( m₂ – m₃ ), ( m₂ – m₄ ), ( m₂ – m₅ ), ( m₃ – m₄ ),

 ( m₃ – m₅ ) y ( m₄ – m₅ ) cuando p = 5.

Para las estimaciones por intervalos, se utilizó el método de Bonferroni, explicado por Morrison  (1967), Mardia et al. (1979), Seber (1984) y Herrera (1986). En todos los casos se trabajó con un nivel de significación a= 0,05, es decir, un coeficiente de confianza del 95%. No es difícil demostrar que los intervalos obtenidos por la metodología de Bonferroni presentan la ventaja de tener un coeficiente de confianza conjunto de, al menos, 100(1 - a)%.

En la metodología de Bonferroni se utilizó el intervalo desarrollado por Morrison (1967)  y explicado y utilizado por Seber (1984) y por Herrera (1986):

donde   es el vector columna de medias muestrales,  n es el tamaño de la muestra, S es la

matriz insesgada estimada de varianzas y covarianzas, a es el vector de contrastes de medias (de acuerdo a las hipótesis que se desee probar), m es la cantidad de contrastes entre medias   (dependiendo   del   número de variables),  es decir,  m = C_p, ₂,  y los valores de t_a/2m están tabulados en el apéndice suministrado por Seber (1984), los que corresponden a las distribuciones de las variables estudiadas según los métodos de estimación. Se realizaron, además, pruebas de hipótesis individuales, comparando entre los tres valores de correlación r=0,25; 0,65 y 0,85, construyendo en cada caso que sea rechazada H₀, los intervalos de confianza por Bonferroni  para m.

Las hipótesis a probar, por ejemplo, para el caso p = 2:

H_o : m = m₀ =  vs.    H₁: m ¹ m₀ =

En este caso, la prueba corresponde a T² de Hotelling descrito por Mardia et. al. (1979):

si S es sesgada ó

si S es insesgada, que es lo que se utilizará en este trabajo.

La regla de decisión es no rechazar

y rechazar H₀ en caso contrario, donde

al nivel de significación a

Resultados y Discusión

De cada archivo se obtuvieron los intervalos de confianza de todos los contrastes posibles.

Al observar todos los intervalos obtenidos, el intervalo más cerrado se obtuvo para el contraste m₁–m₂ cuando p=2, n=30, r_ij =0,85, cuyo promedio de la amplitud fue de 3,49. Esto se debe a que las varianzas de y₁ y de y₂ pueden considerarse homogéneas. Es de resaltar que esto ocurrió con el menor número de variables, el mayor tamaño de la muestra y la mayor correlación entre las variables.

Comparando los resultados entre las tres correlaciones, se observa que a medida que aumenta la correlación entre las variables, los intervalos son más estrechos, resultado que es bien interesante, ya que pone de manifiesto la importancia de tomar en cuenta la correlación existente entre las variables en el momento de realizar estimaciones, lo cual justifica el uso de los métodos multivariados en el manejo de datos con varias variables. A medida que aumenta la correlación entre las variables (r=0,85), los intervalos son más estrechos, es decir, que los intervalos con r=0,25 (correlación baja)  fueron más amplios. Esto se debe a que al aumentar r_ij también se incrementan los valores de la  covarianza entre las variables y se obtiene una ganancia de información.

Se observa que a medida que aumenta el tamaño de la muestra, los intervalos son más estrechos, lo cual era de esperarse, ya que en todo tipo de intervalos de confianza la amplitud depende (es inversamente proporcional) del tamaño de la muestra (disminuye el error estándar).

Es importante destacar en la Tabla 1, cómo disminuye la amplitud de los intervalos al incrementarse el tamaño de la muestra, pero obsérvese cómo para cada tamaño de muestra al incrementarse el número de variables, aumenta la amplitud de los intervalos. Al examinar la matriz S, se observa un incremento en las varianzas de una variable a otra. Por lo tanto, para garantizar el coeficiente de confianza conjunto de todos los contrastes, la región de confianza aumenta. Podemos observar la mayor amplitud de 23,61, la cual corresponde al mayor número de variables, el menor tamaño de la muestra y la menor correlación entre las variables.

Tabla 1. Amplitud de los intervalos de confianza para el contraste m₁ -m₂

En las  Tablas 1, 2, 3 y 4, se observa que la estimación de los contrastes m₁–m₂, m₁–m₃ y m₁-m₄, hasta m₁–m₅  comparando para los mismos tamaños de muestras, ejemplo n=10, la amplitud de los intervalos se va incrementando. Para el contraste m₁–m₂ la amplitud es 14,5, en cambio para el contraste m₁–m₃ la amplitud es 29,6. Esto se explica por la mayor distancia entre las medias y que para el contraste m₁–m₂ hay una relación entre las varianzas de 59,39/43,33=1,37, para el contraste m₁–m₃ hay una relación entre las varianzas de 210,27/43,33=4,85 y así sucesivamente hasta  el contraste m₁–m₅ donde hay una relación entre  las  varianzas  de 495,16/43,33=1,43. Este hecho incide ampliamente en una mayor amplitud de los intervalos debido a la heterogeneidad de las varianzas.

Tabla 2. Amplitud de los intervalos de confianza para el contraste m₁ -m₃

Tabla 3. Amplitud de los intervalos de confianza para el contraste m₁ -m₄

Tabla 4. Amplitud de los intervalos de confianza para el contraste m₁ -m₅

Los valores mostrados Tablas 5, 6  y 7, corresponden a las amplitudes obtenidas para los contrastes m₂–m_3, m₂–m₄ y m₂–m₅ y se observa que las amplitudes de los intervalos son más amplias a las reportadas en las Tablas 1 a 4, tanto para las tres correlaciones y los diferentes tamaños de muestra. Esto se debe a la mayor variancia de las variables involucradas.

Tabla 5. Amplitud de los intervalos de confianza para el contraste m₂ -m₃

Tabla 6. Amplitud de los intervalos de confianza para el contraste m₂ -m₄

Tabla 7. Amplitud de los intervalos de confianza para el contraste m₂ -m₅

Los valores mostrados en las Tablas 8, 9 y 10, corresponden a las amplitudes obtenidas para los contrastes m₃–m_4, m₃–m₅ y m₄–m₅, al igual que lo señalado en el párrafo anterior, se observa que las amplitudes de los intervalos son aún más amplias a las reportadas en las Tablas 1 a 7, tanto para las tres correlaciones como para los diferentes tamaños de muestra. Al igual que el caso anterior, se debe a una mayor variancia de las variables involucradas.

Tabla 8. Amplitud de los intervalos de confianza para el contraste m₃ -m₄

Tabla 9. Amplitud de los intervalos de confianza para el contraste m₃ -m₅

Tabla 10. Amplitud de los intervalos de confianza para el contraste m₄-m₅

En general estos resultados concuerdan en parte con los obtenidos por Seber (1984) y con lo obtenido por Herrera (1986), aunque este autor sólo realizó la comparación para cinco contrastes diferentes.

Pruebas de hipótesis

Como se indicó en Materiales y Métodos, las hipótesis a probar, por ejemplo, para el caso p=2:

H_o : m = m₀ =  vs.    H₁: m ¹ m₀ =

y la prueba corresponde al T² de Hotelling descrito por Mardia et al. (1979).

Se contó la cantidad de casos que rechazan H₀, calculándose de esta manera , luego de cada cuadro se presenta en forma gráfica los valores de, comparando en el eje x  los tamaños de muestra y en la gráfica están las curvas para cada una de las tres correlaciones.

Notación utilizada:

p = Número de variables

n = Tamaño de la muestra

r = Correlación entre las variables

En la Tabla 11, se desglosan para la totalidad de muestras simuladas, los valores de  estimados obtenidos.

Tabla 11. Nivel de significación estimado

En la Tabla 11 se observa para p=2 variables, que el  menor valor corresponde  a  n=5,  r=0,65, =0,037 y el mayor valor corresponde a n=10, r =0,65, =0,057. En general, el valor  oscila en todos los casos alrededor de 0,05. Para  p =3  variables,  el  menor valor    corresponde a  n=15, r=0,65, =0,041 y el mayor valor corresponde a n =25, r =0,65,  =0,061. En general, el valor oscila  en todos los casos  alrededor  de 0,05. En general, al comparar contra p = 2, se observa un comportamiento similar de. En las Figuras 1 (para p = 5 considerando todos los tamaños de muestra) y 2 (para n =30 considerando todas las p variables), puede  observarse  como  cambia el comportamiento de para r =0,65 comparado con los otros valores de correlación, aunque el cambio al igual que p=2 variables, no es sustancialmente diferente. Para p=4  variables, el  menor valor corresponde a  n=20,  r=0,85, =0,042  y  el mayor  valor  corresponde a  n =25, r = 0,65,  =0,065. Al igual que p=2 y 3, en  general  el  valor oscila en todos los casos alrededor de 0,05 y al comparar contra p=2 y 3, se observa un comportamiento similar de .

En  la  Figura 1 se observa que el menor valor corresponde a  n=25, r =0,25,  r =0,65 y  r=0,85 con =0,045 y el mayor  valor corresponde a n=15,  r=0,25,  r=0,65 y r =0,85  con =0,059. El valor de  oscila en todos los casos alrededor de 0,05, al igual que para los otros números de variables.

Al comparar las p variables para n=30, el comportamiento de es muy similar que en el caso de n=15, n=20 y n=30. Se observa que para p=5 variables, el número de casos rechazados varía cuando cambia el tamaño de la muestra pero no cuando cambia la correlación entre las variables.

Conclusiones

El simulador diseñado y construido en Turbo-pascal para generar muestras aleatorias cuyas variables tengan distribución multinormal, es de gran fiabilidad para ser usado en la Estadística Multivariada. Esto se evidencia en que, tanto para las variables aleatorias normales estandarizadas comopara las variables aleatorias multinormales, a medida que aumenta el tamaño de la muestra los valores de la media y dispersión (varianzas y covarianzas) se acercan más a los parámetros, para llegar a tener sólo diferencia de decimales.

En cuanto al grado de correlación entre las variables, se verificó la importancia de realizar análisis multivariado cuando se tienen varias variables bajo estudio ya que se aprovecha la información proveniente  de la correlación entre  las variables disminuyendo la amplitud de los diferentes intervalos de confianza obtenidos por la metodología de Bonferroni. Esto se observó para todas las situaciones estudiadas.

Considerando los efectos de los tamaños de muestras, se constató la importancia de disponer de muestras relativamente grandes para realizar inferencias estadísticas acerca de la población ya que para las diferentes situaciones se observó que la amplitud de los intervalos de confianza obtenidos con la metodología de Bonferroni disminuía considerablemente al incrementarse el tamaño de la muestra.

Sin embargo, en conocimiento de las limitaciones que pueden tener algunos investigadores para disponer de tamaños apropiados de muestras, en el presente trabajo se suministran los niveles de significación estimados cuando se trabaja con muestras pequeñas. Se observó, para los números de variables 2, 3, 4 y 5, que los valores de estimado oscilan alrededor de 0,05, el cual es el valor del nivel de significación fijado en las pruebas. Esto es similar tanto para los diferentes tamaños de muestra como para las diferentes correlaciones entre las variables.

En relación al número de variables, se observa que, bajo las condiciones de los parámetros poblacionales  con los que se simularon las diferentes muestras aleatorias, la amplitud de los intervalos de confianza obtenidos por la metodología de Bonferroni aumenta a medida que se incrementa el número de variables. Esto se debe al incremento en el tamaño de la región de confianza que garantice un coeficiente de confianza conjunto de al menos 100(1- a)%.

Referencias

1. Armas, S; Herrera, L. 2006. Efectos del tamaño de la muestra  y  de la  estructura de la matriz S sobre la amplitud de Intervalos de Confianza en poblaciones multinormales. Rev. Fac. Cs. Vets. UCV., 47: 71-77.        [ Links ]

2. Armas, S.; Herrera, L. 2007. Efectos del número de variables y de la estructura de la matriz S sobre la amplitud de Intervalos de Confianza en poblaciones multinormales. Rev. Fac. Cs. Vets. UCV., 48: 23-30.        [ Links ]

3. De Melo, G. 1985. Análise Estatistica Multidimensional. Universidade de São Paulo, Piracicaba, Brasil. pp. 25-27.        [ Links ]

4. Herrera, L. 1986. Desigualdades de Bonferroni; exemplos e algumas aplicações. Universidade de São Paulo, Piracicaba, Brasil. pp. 6-10.        [ Links ]

5. Hong, Y; Meeker, W. Q.; Escobar, L.A. 2008. Avoiding problems with normal approximation confidence intervals for probabilities. Technometrics. 50: 64-68.        [ Links ]

6. Mardia, K.; Kent, J.T.; Bibby, J.M. 1979. Multivariate Analysis. Academic Press, London-New York- Toronto-Sydney-San Francisco. pp. 73-358.        [ Links ]

7. Morrison, D. 1967. Multivariate Statistical Methods. Universidad de Pensilvania. Segunda edición, McGraw – Hill Book Company.  pp. 128-136.        [ Links ]

8. Peña, D. 2002. Análisis de Datos Multivariantes., McGraw- Hill/Interamericana, España. 539 p.        [ Links ]

9. Rencher, A. 2002. Methods of  Multivariate Analysis. John Wiley & Sons, segunda edición. EE.UU. 708 p.        [ Links ]

10. Seber, G. A. F. 1984. Multivariate Observations. John Wiley & Sons. EE.UU. pp. 58-105.        [ Links ]

11. Spurrier, J.D. 1999. Exact confidence bounds for all contrasts of three or more regression lines. J. Am. Stat. Ass., Vol. 94, 446:483-488.        [ Links ]

12. Universidad Nacional de Colombia, Curso de Estadística, Dirección URL: http://www.virtual.Unal.edu.co,[Consulta: 10 de enero 2008].        [ Links ]

13. Zanine, A. De M.; Dias, P.F.; Souto, S.M.; Da Costa, J.R. 2006. Métodos  de análise multivariada aplicados na avaliação de gramíneas forrageiras tropicais adubadas com chorume  bovino. Rev. Univ. Rural, Sér. Ci. Ex. e da Terra, RJ, EDUR. 26:42-50.        [ Links ]