BITÁCORA: PROPIEDADES A LARGO PLAZO DE UNA CADENA DE MARKOV

Cada semana adquirimos nuevos conocimientos que nos permiten avanzar en el estudio de la Investigación de Operaciones, y la clase de la semana del 9 al 14 de octubre no fue la excepción, desarrollamos el tema: Propiedades a largo plazo de una cadena de Markov.

Para esto nos basamos específicamente en las cadenas de Markov ergódicas, recordemos que una CM ergódica es aperiódica, recurrente y no nula (si hay estados absorbentes no es una cadena ergódica), en este tipo de cadenas se puede ir de un estado i a un estado j en n pasos aunque no exista un arco dirigido de un estado i a un estado j, es decir, tiene la libertad de ir de un estado a cualquier otro en n pasos. Esto nos lleva a afirmar que hay una evidencia de que existen condiciones de estado estable, por lo tanto, estas probabilidades cada vez que avance el tiempo van a tender a converger en cierto punto, como se desarrolló en la clase y lo recordaremos a continuación.

Lo anterior se resuelve cuando aplicamos las ecuaciones de Chapman-Kolmogorov, para tener una idea más clara de esto, podemos remitirnos al ejemplo de inventarios desarrollado en la clase pasada.

Probabilidad de Estado Estable para una Cadena Ergódica

Luego de hacer la introducción, el profesor empezó explicando las probabilidades de estado estable para una cadena ergódica, definiéndola como la probabilidad absoluta de encontrar el proceso en estado j para el tiempo n= 1, 2, 3,… es decir encontrar el proceso en cierto estado, después de un numero grande de transiciones, pero  esto no significa que se establece en un estado (error Garrafal).

En las probabilidades de un estado estable para una cadena de Markov irreducible ergódica el límite cuando n tiende a ∞ de la probabilidad de ir, estando en j, saliendo de i en n pasos, existe y es independiente de i.

Para profundizar mejor acerca de este tema , debemos tener en cuenta los temas antes visto:
http://investigaciondeoperacionesutb.blogspot.com/2011/10/bitacora-sobre-ecuaciones-de-champman.html

A continuación realizamos por medio del Solver* (un complemento de Excel), un ejemplo de cómo calcular Las probabilidades de los estados estables del ejercicio desarrollado en la clase 6 “procesos de Markov” – Inventario de Transformadores (Haz click en la imagen para expandir ):

*<<¿Cómo Activar el Complemento Solver en Excel?>> 

http://office.microsoft.com/es-es/excel-help/cargar-el-complemento-solver-HP010021570.aspx




Tiempos de recurrencia

Los tiempos de recurrencia,  se trata del número de pasos que demora el sistema desde que sale del estado i y regresa al mismo estado.

En pocas palabras es el número esperado de transiciones hasta que el proceso regresa al estado inicial i.

Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso de ir de un estado ‘i’ a un estado ‘j’ por primera vez. Este lapso se llama tiempo de primera pasada al ir del estado i al estado `j’.

Tiempos de primera pasada

Cuando j=i, este tiempo de primera pasada es justo el número de transacciones hasta que el proceso regresa al estado inicial i.

En general los tiempos de primera pasada son variables aleatorias y por lo tanto tienen una distribución de probabilidad asociada a ellos.

Donde fij^n denota la probabilidad de que el tiempo de primera pasada del estado ‘i’ al estado ‘j’ sea n.

Se puede calcular la probabilidad de un tiempo de primera pasada del estado ‘i’ al estado ‘j’ en n pasos, de manera recursiva, a partir de las probabilidades de transición de un paso.

Con el mismo ejercicio de Inventarios de Transformadores de la clase 6, desarrollamos un ejemplo de cómo calcular el tiempo de la primera pasada al estado 3 partiendo del estado 0 (Solución a través del Solver de Excel: 

Click en la imagen para expandir

Estados Absorbentes


Se llaman estados absorbentes a aquellos en los que el sistema entra y nunca vuelve a salir. A través de los estados absorbentes podemos determinar:

-El número esperado de pasos antes de que el proceso sea absorbido.

-El número de veces que el proceso está en cualquier estado dado no absorbente.

-La probabilidad de absorción por cualquier estado absorbente dado.

Antes que nada, es importante identificar en una matriz cuales son los estados absorbentes. Son estados absorbentes en la siguiente matriz, los estados 0 y 4. Ya que la probabilidad de que el sistema llegue y se quede en el estado 4 y 0 es 1, por lo cual este no puede salir.

En los estados absorbentes lo que se busca es encontrar en el estado estable, las probabilidades de que un estado sea absorbido por un estado absorbente. Lo cual se puede hacer a partir de la solución de la siguiente matriz: 

En donde, en el lugar donde se encuentra Q colocamos las probabilidades de los estados no absorbentes y en R las probabilidades de absorción. Mientras que en I, la matriz identidad, encontramos las probabilidades de los estados absorbentes. Para resolver esta matriz una vez están ubicadas todas las probabilidades donde corresponden, aplicamos las ecuaciones de CHAPMAN – KOLMOGOROV; y podemos observar que una vez que Q disminuye, R aumenta.

(I-Q)^-1: número de pasos antes de ser absorbidos.

Es muy importante organizar la matriz de tal manera que los estados absorbentes estén arriba, tal como se muestra en la matriz de la figura 1.

En el siguiente ejemplo, podemos encontrar los porcentajes que un estado sea absorbido por un estado absorbente.

0.5	0.25	0	0.25
0.25	0.5	0.125	0.125
0	0	1	0
0	0	0	1

Para la anterior matriz podemos hallar las probabilidades de que un estado sea absorbido por un estado absorbente en n pasos con las ecuaciones de CHAPMAN-KOLMOGOROV, tal como se especificó anteriormente.