Introdução

Neste tópico vamos introduzir as cadeias de Markov, que são processos aleatórios que satisfazem a propriedade de Markov. Nomeado por Andrey Markov, talvez o membro mais conhecido de uma família de famosos matemáticos russos do final do século XIX ao início do século XX. Um processo aleatório que satisfaz a propriedade Markov possui a seguinte característica interessante. Pode-se fazer previsões em seu futuro com base somente em seu estado atual independentemente do que aconteceu no passado até esse estado atual. Em outras palavras, condicional ao estado atual do processo, suas evoluções futuras e passadas são independentes. Como tal, as cadeias de Markov são bastante gerais e desfrutam de uma ampla gama De aplicações. Por exemplo, na física, são amplamente utilizados na mecânica estatística. Nas ciências da informação, elas são usadas no processamento de sinais, codificação, compactação de dados e reconhecimento de padrões. Na teoria da fila, eles fornecem o backbone analítico para a análise de filas. Vamos expandir mais tarde neste exemplo. Nos aplicativos da internet, eles usaram para classificar páginas da web. E também veremos isso. Nas estatísticas, muitas vezes são usadas para tornar a inferência bayesiana mais prática sob o nome da cadeia de Markov Monte Carlo. Em finanças, eles são usados para descrever a evolução dos preços dos ativos. Eles também são usados em jogos, música, genética, beisebol, história e assim por diante. Nesta unidade consideraremos discretamente as cadeias de Markov discretas que evoluem dentro de um estado finito de espaços. Isso nos permite concentrar-nos nos conceitos principais, sem nos surpreender com os detalhes técnicos necessários para abordar de forma rigorosa os processos de Markov em tempo contínuo em espaços de estado em geral. Em seguida, nos concentraremos no comportamento de uma cadeia de Markov no longo prazo. Ou seja, depois de deixá-lo evoluir por um longo tempo. E estudar em que condições uma cadeia de Markov exibe algum tipo de comportamento no estado estacionário e em que condições esse comportamento é independente do estado de partida inicial. Finalmente, analisaremos uma aplicação clássica de cadeias de Markov associadas ao design de um sistema de telefone. Em seguida, concluiremos, fazendo uso de tudo o que aprendemos até o momento, a fim de calcular algumas quantidades interessantes associadas a comportamentos de curto prazo das cadeias de Markov

Nesta tópicos abordaremos as cadeias de Markov, uma classe geral de processo estocástico (aleatórios) com muitas aplicações que lidam com a evolução de sistemas dinâmicos. Ao contrário dos processos de Bernoulli e Poisson, que são sem memória, no sentido de que o futuro não depende do passado. Já as cadeias de Markov são mais elaboradas, pois permitem alguma dependências entre diferentes períodos de tempo. No entanto, essas dependências são de natureza simples e restrita, capturadas pela chamada propriedade de Markov. Condicionada ao estado atual da cadeia de Markov, suas evoluções futuras e passadas são independentes. Conforme mencionado na visão geral da unidade, consideramos apenas cadeias de Markov de tempo discreto que evoluem em espaços de estados finitos. Isso nos permite concentrar-nos nos principais conceitos sem ter que lidar com alguns detalhes técnicos necessários necessários para estudar os processos gerais de Markov em tempo contínuo e espaços de estado gerais, possivelmente incontáveis. Em primeiro lugar, apresentamos os conceitos básicos, usando o exemplo simples de um contador de pagamento em um supermercado, um exemplo de um simples sistema de filas. Em seguida, abstrairemos do exemplo e daremos algumas definições gerais, incluindo as noções centrais dos estados, as probabilidades de transição, a propriedade de Markov e os gráficos de probabilidade de transição. Posteriormente, analisaremos várias questões, como prever o que acontecerá em etapas n no futuro, dado o estado atual do nosso sistema. Vamos definir as probabilidades de transição n-step exatamente e mostrar como calcular a eficiência. Também discutiremos o que poderia acontecer quando deixamos a corrente de Markov rodar por muito tempo. Vamos terminar esta palestra, introduzindo as noções de estados recorrentes e transitórios e sua importância no estudo das cadeias de Markov no longo prazo.


Licença Creative Commons 4.0

Este conteúdo está disponível por meio da Licença Creative Commons 4.0