İstanbul'un fethinden hemen sonra Galata’nın doğu kapısının dışına, orduya gerekli malzemeyi temin amacıyla bir tophane kurulur. Bu nedenle XVI. yüzyılda, daha sonraları Tophane Kapısı adı ile anılacak olan 'Doğu Kapısı", levantenler tarafından Porta delle Bombarde adı ile anılmaktadır. 1537 tarihli Menâzil-i Seferi Irâkeyn-i Sultan Süleyman bin isimli albümde Galata surları dışında, sahilde kurşun kaplı çatısı ile yüksek bir bina, sekiz adet çeşitli boyutta top ve padavra ile örtülü, üç fenerli Tophane Binası görülmektedir. Evliya Çelebi, Tophane yapılarının Fatih Sultan Mehmed, Sultan II. Beyazıd ve Kanuni Sultan Süleyman devirlerinde yapıldığını söylemekte ise de Kanuni döneminde Tophane Binası’nın yıktırılıp devrin ihtiyacına göre yeniden yapıldığı bilinmektedir. Evliya, Tophane Binası’nın kapısının üzerindeki köşke Sultan İbrahim'in geldiğini ve o zamandan beri bu köşkün padişahlara ait olduğunu belirtmektedir. H. 1132/1720 tarihinde Tophane'de çıkan yangın sonrası H. 1136/1723 yılında büyük bir su sarnıcı inşa ettirilir. Sarnıcın inşası ile Topçu başı İbrahim Ağa görevlendirilmiştir. Aynı yıl padişahların Tophane’yi ziyaretleri sırasında istirahat etmeleri amacıyla bir de kasır inşa edilir.
Sultan Abdülmecid tarafından İngiliz mimar William James Smith`e inşa ettirilen binanın yapımı 1852 yılında tamamlanmıştır. Kasır, padişahların Tophane'deki askeri tesisleri ziyaretleri veya şehri deniz yoluyla ziyarete gelen yabancı devlet adamlarının karşılanması esnasında kullanılan bir mekan durumundaydı. Rus Çarı'nın kardeşi Grandük Konstantin, Sultan Abdülmecid tarafından burada kabul edilmiş, Osmanlı-Yunan savaşına son veren 1897 uluslararası konferansı ve Lozan Antlaşması sonrası Uluslararası Boğazlar Komisyonu, Tophane Kasrı'nda toplanmıştır.
1958'de yapılan kentsel müdahaleler kapsamında cadde genişletilirken, kasrın batısındaki Top Arabacıları Kışlası yıktırıldı, doğusuna bugünkü liman binaları yaptırılarak kasrın denizle bağlantısı kesildi ve tarihi meydan ortadan kaldırıldı. Uzun süre Malul Gaziler Yurdu olarak kullanılan yapı günümüzde Mimar Sinan Üniversitesi'nin kullanımındadır.
Kasır denize paralel, dikdörtgen planlı ve iki katlı bir yapıdır. Dış yüzeyindeki süslemeler, ikinci katındaki konsollara oturtulan barok üsluptaki çıkma, kalem işi tavan süslemeleri ve mermer şömineleri kasrın en dikkat çekici özellikleri arasındadır.