A harpa, juntamente com a flauta, é um dos instrumentos mais antigos. Teria tido origem nos arcos de caça que faziam barulho ao roçarem na corda. Ela é sempre triangular, lembrando um arco de caça. Tem-se conhecimento através de fábulas épicas, poesias e trabalhos de arte, que as harpas existiam séculos antes de Cristo, na Babilónia e Mesopotâmia. Foram encontrados desenhos de harpas na tumba do Faraó Egípcio Ramsés III (1198-1166 a.C.), em esculturas da Grécia antiga e em cavernas do Iraque que datam desde 2900 a.C.
Durante o crescimento do islamismo, durante o século VIII, a harpa viajou do norte da África até à Espanha e rapidamente se espalhou pela Europa. Em torno de 1720 foi inventada a harpa com pedais, um desenvolvimento muito importante para o instrumento. Acredita-se que tenha sido inventada por Celestin Hochbrücker, tendo sido aperfeiçoada mais tarde pelo francês Érard em 1810.
Entre os maiores harpistas, pode citar-se Nicolas Bochsa (Montmedy France 1789 - Sydney Austrália 1856). A sua vida foi uma sequência de aventuras romanescas.
A harpa rudimentar já era conhecida pelos caldeus, egípcios, gregos e romanos e até hoje representa um importante papel na cultura de alguns povos africanos da região do Saara, especialmente os Bwiti.