Ünlü gezgin İnciyan’a göre Büyük Konstantin’in diktirdiği bir haçtan dolayı Bizans döneminde ‘İstavroz Bahçeleri’ adıyla anılan Beylerbeyi, Osmanlılar döneminde padişahların has bahçelerinden biri olarak kullanılmıştır.
Bugünkü Beylerbeyi Sarayı, Sultan Abdulaziz tarafından II. Mahmud’un ahşap sahil sarayı yıktırılarak 1861-1865 yılları arasında dönemin tanınmış mimarı Sarkis Balyan’a yaptırılmıştır.