<prompt> Markov anacheza mchezo kwa zamu tatu. Katika kila zamu, yeye huviringisha fasi ya haki, yenye pande sita au anageuza sarafu ya haki. Ikiwa atapiga 1 au 2 kwenye difa, atabadilisha sarafu kwenye zamu inayofuata, na ikiwa atageuza mkia kwenye sarafu, atabadilisha kufa kwenye zamu inayofuata. Ikiwa Markov ataanza kwa kugeuza kufa, kuna uwezekano gani kwamba atageuza sarafu kwenye zamu ya tatu?  <response>: Tunaweza kutatua tatizo hili kwa kuigawanya katika kesi. Ikiwa Markov atakunja 1 au 2 kwenye zamu ya kwanza, atapindua sarafu kwenye zamu ya pili. Lazima apige vichwa ili kugeuza sarafu kwenye zamu yake ya tatu. Kuna uwezekano wa frac26cdot frac12frac16 wa kesi hii kutokea. Ikiwa Markov hajasonga 1 au 2 kwenye zamu ya kwanza, atageuza kifa kwenye zamu ya pili. Lazima azungushe 1 au 2 kwenye zamu ya pili ili kugeuza sarafu kwenye zamu ya tatu. Kuna uwezekano wa frac46cdot frac26frac29 wa kesi hii kutokea. Jumla ya uwezekano kwamba Markov atageuza sarafu kwenye zamu ya tatu basi ni frac16frac29frac718. 