Exercice 1 (Vrai ou faux)Soit (Sn) une marche aléatoire simple sur Z. Lesquels des processus suivants sont des chaînes de Markovsur Z ? Pour ceux qui le sont, donner la matrice de transition.1. A = (Sn)n≥0,2. B = (Sn + n)n≥0,3. C = (Sn + n2)n≥0,4. D = (Sn + 10n)n≥0,5. E = (Sn + (−1)n)n≥0,6. F = (|Sn|)n≥0,7. G = (S2n − n)n≥0,8. H = (S2n)n≥0
Question
Exercice 1 (Vrai ou faux)Soit (Sn) une marche aléatoire simple sur Z. Lesquels des processus suivants sont des chaînes de Markovsur Z ? Pour ceux qui le sont, donner la matrice de transition.1. A = (Sn)n≥0,2. B = (Sn + n)n≥0,3. C = (Sn + n2)n≥0,4. D = (Sn + 10n)n≥0,5. E = (Sn + (−1)n)n≥0,6. F = (|Sn|)n≥0,7. G = (S2n − n)n≥0,8. H = (S2n)n≥0
Solution
D'accord, voici les réponses à l'exercice :
-
A = (Sn)n≥0, est une chaîne de Markov. La matrice de transition est une matrice tridiagonale où chaque entrée (i, i+1) et (i, i-1) est 1/2, le reste étant 0.
-
B = (Sn + n)n≥0, n'est pas une chaîne de Markov car l'état à l'instant n dépend de n.
-
C = (Sn + n2)n≥0, n'est pas une chaîne de Markov pour la même raison que B.
-
D = (Sn + 10n)n≥0, n'est pas une chaîne de Markov pour la même raison que B et C.
-
E = (Sn + (−1)n)n≥0, n'est pas une chaîne de Markov car l'état à l'instant n dépend de n.
-
F = (|Sn|)n≥0, est une chaîne de Markov. La matrice de transition est la même que pour A, mais avec des valeurs absolues.
-
G = (S2n − n)n≥0, n'est pas une chaîne de Markov car l'état à l'instant n dépend de n.
-
H = (S2n)n≥0 est une chaîne de Markov. La matrice de transition est la même que pour A, mais avec les indices doublés.
Similar Questions
Question 2. [11 Marks]. Consider a Markov process {X(t)}t≥0 with state space S ={0, 1, 2, 3} and Q-matrix, or generator,Q =−q0 2 0 02 −q1 4 00 4 −q2 20 0 1 −q3 .Determine the following quantities.(a) The expected holding time of each state (i.e. the expected amount of time spent in eachstate before a jump).(b) The stationary distribution πQ associated with Q.(c) The proportion of time the process spends in state 3 in the long run.(d) The expected return time, m2 = E2[T2], for state 2.(e) The transition matrix R of the embedded chain.(f) A stationary distribution πR of the embedded chain. Is the stationary distribution πRthat you found unique? Explain your reasoning.2
1. Quiz Question Consider the Markov chain (Xn, n = 0, 1, 2, . . . ) with state space S = {1, 2, 3, 4}and transition diagramP =1/3 1/3 1/3 01/4 1/2 1/4 00 1/2 0 1/20 1 0 0 .(a) Draw the transition diagram.(b) Find P (X1 = 1, X2 = 2, X3 = 3 | X0 = 2).(c) Find P (X2 = 2, X3 = 1 | X0 = 4, X1 = 2).(d) Find p(2)21 = P (X2 = 1 | X0 = 2).(e) Find P (X7 = 1 | X5 = 2).
. A Markov chain (Xn, n = 0, 1, . . . ) has state space S = {1, 2, 3, 4} and transition matrixP =0 2/5 3/5 01/4 0 1/2 1/40 3/4 0 1/40 0 0 1(a) Draw the transition diagram for this Markov chain. [2 marks](b) Find P (X3 = 1 | X0 = 1, X1 = 2, X2 = 1). [1 mark](c) Find P (X1 = 2, X2 = 1, X3 = 3, X4 = 4 | X0 = 3).
A particle moves in a circle through points that have been marked 0, 1, 2, 3, 4 in a clockwise direction.order. The particle starts at point 0. At each step it has probability 0.35 of moving one point clockwise (0follows 4) and 0.65 of moving one point counter clockwise.Let Xn denote its location on the circle after step n.a). Construct the one step transition matrix for Xn.b) . Determine n-step transition matrix for n =5.
Quiz Question Consider the Markov chain with transition diagram345210.10.50.50.60.30.50.20.40.30.50.50.20.4i.e., with transition matrixP =0.6 0.4 0 0 00.5 0.5 0 0 00 0.5 0 0.5 00 0.5 0.3 0 0.20 0.1 0.2 0.4 0.3 .(a) Starting from state 5, what is the most likely two-step path? What is the probability(starting from state 5) of following that two-step path?(b) In this Markov chain, can you get from every state to every other state eventually?
Upgrade your grade with Knowee
Get personalized homework help. Review tough concepts in more detail, or go deeper into your topic by exploring other relevant questions.