İlçe merkezinin güneyinde bulunan höyük, buranın eski bir yerleşim merkezi olduğu izlenimini vermektedir. Ancak Taşlıçay’ın tarihine ilişkin yeterli bilgi yoktur. Aşağı Toklu, çöğürlü, Tanrıverdi köylerinde küçük çapta kaleler varsa da tahrip edildikleri gibi, Türkçe tarihi kaynaklarda adları geçmemektedir.
Taşlıçay’ın en eski tarihe sahip yeri, Taşteker (Üçkilise ya da Dıra Fılla) köyüdür. Taşlıçay Diyadin arasında Murat nehrinin güney kıyısındaki bu köy tarihi kaynaklarda Bagavan veya Pakavan (Eski İran dilinde "tapınakkent") adıyla bilinen kenttir. Ermeni ve İran hükümdarları döneminde önemli bir tapınak merkezi olmuş, Sasani hanedanı kurucusu olan Ardeşir burada ünlü bir Mecusi (Zerdüşti) tapınağı yaptırmıştır. 4. yüzyıl başında Ermenilere Hıristiyan dinini getiren Aziz Grigor bu tapınakları kiliseye çevirmiş ve otuz gün süren oruç ve duadan sonra Ermeni kralı ve ileri gelenleri burada Fırat (Murat) nehrinde vaftiz edilerek Hıristiyanlığı kabul etmişlerdir. 634 yılında büyütülerek yeniden inşa edilen Pakavan kilisesi 20. yüzyıla dek sapasağlam gelmişken Ermenilerin burayı terk etmelerinden sonra yıkılmış ve enkazından elde edilen taşlarla şimdiki il merkezinde bulunan Ağrı merkez camii inşa edilmiştir.
Yörede 19. yüzyıla dek nüfus çoğunluğunu oluşturan Ermenilern büyük bir kısmı 1828 Osmanlı-Rus savaşı esnasında memleketlerini terkederek Rusya'ya sığınmışlardı. Bu tarihten sonra geri kalan Ermeniler yoksul ve az nüfuslu altı köyde kalmış, bunlar da 1915'ten sonra imha edilmişlerdir. Taşlıçay ve Eleşkirt yöresinin 1808-1829 yılları arasındaki tarihine ilişkin Boğos Muradyan tarafından yazılmış çok etraflı bir vekayiname mevcuttur.
Murat vadisindeki yol güzergahında bulunan ilçe toprakları, birçok kavmin ve bu meyanda Türk akıncılarının ve Kürt aşiretlerinin geçiş yolu olmuştur. 1064’te Selçuklu Türkleri tarafından yağmalandı. 1243 Kösedağ Savaşından sonra İlhanlıların, daha sonra Celayirlilerin, Timur’un, Karakoyunlu ve Akkoyunlu Türkmen devletlerinin yönetimine girdi. 1502-1514 yılları arasında Safevilerin eline geçti.
Çaldıran Zaferi (1514) ile birlikte Osmanlı topraklarına katıldı. iran Safevilerinin sınır tecavüzleri sonucunda 1578’te tekrar geri alındı. 1585 tarihli Osmanlı Mufassal Tapu defterinde gösterilen şelve Sancağının dört nahiyesinden biri Kumluca’dır. Taşlıçay, 1828-1829, 1854-1856, 1877-1878 Osmanlı Rus savaşlarında Rus işgaline uğradı. 1885’te asayiş karakolu kuruldu. 1892’de bucak merkezi oldu. Birinci Dünya Harbinde yeniden Rus işgaline uğrayan ilçe, 1917’de Rusların geri çekildiği günlerde Ermeni saldırılarına maruz kaldı. Önceleri Diyadin’e bağlı Aşağı Taşlıçay adıyla bir bucak olarak yönetilirken 4.3.1954 tarih ve 6324 sayılı kanunla ilçe yapıldı.