O Rosário nasceu do amor dos cristãos por Maria na época medieval, talvez no tempo das cruzadas à Terra Santa. O objeto da recitação desta oração, o terço, é de origem muito antiga. Os anacoretas orientais usavam pedrinhas para contar o número das orações vocais. Nos eventos medievais os irmãos leigos, dispensados da recitação do Saltério, pela pouca familiaridade com o latim, completavam as suas práticas de piedade com a recitação dos Pai-Nossos, e para a contagem, São Beda, o Venerável, havia sugerido a adoção de vários grãos enfiados num barbante.
Depois, narra uma lenda, a própria Nossa Senhora, aparecendo a São Domingos, indicou-lhe a recitação do Rosário como arma eficaz para debelar os hereges albigenses. Nasceu assim a devoção do Rosário, que tem o significado de uma grinalda de rosas oferecida a Nossa Senhora. Os promotores desta devoção foram os dominicanos, que também criaram as confrarias do Rosário.
Foi o Papa dominicano, São Pio V, o primeiro a encorajar e a recomendar oficialmente a recitação do Rosário, que em breve se tornou a oração popular por excelência, uma espécie de breviário do povo, para ser recitado à noite em família. Aquelas Ave-Marias recitadas em família estão animadas de autêntico espírito de oração: "Enquanto se prossegue na doce e monótona cadência das Aves-Marias, o pai ou mãe de família pensam nas preocupações pelos filhos mais velhos. Este emaranhado de aspectos da vida familiar sofre então a iluminação dos mistérios salvíficos de Cristo, e é espontâneo confiar tudo a Mãe do milagre de Caná e de toda a Redenção" (Schillebeeckx).