Sarayın Zeynep-Kâmil Hastahanesi'nin ön tarafında olduğu sanılmaktadır. Burada, Körbakkal, Hasan Bey ve Sarı Mehmet Mesut Paşa sokakları ile Toptaşı ve Divitçiler caddelerinin etrafını çevirdiği, boyu 200 m. eni 170 m. olan bir alanda tonoz bakiyeleri, ince tuğladan yapılmış kemerli kapı kalıntıları ve büyük bir su haznesi bulunmaktadır. Zeynep-Kâmil Bulvarı'nın yapımı sırasında bunlardan bir kısmı ortadan kalkmışsa da, su haznesi durmaktadır. Burada bulunduğu sanılan sarayın hangi tarihte ortadan kalktığı belli değildir. Arsanın üzerinde bugün, Arap Odaları Çıkmazı, Hasodalar Çıkmazı ve Körbakkal Çıkmazı adlarını taşıyan üç çıkmaz sokak vardır. Sarayın ön tarafında, bugün yıkılmış bulunan Toptaşı Karakolu bulunuyordu. Sarayın bânisi Nasuh Paşa, 22 Ağustos 1611'de ve Sultan I. Ahmet devrinde sadrazam ve aynı padişahın üç yaşındaki kızı Ayşe Sultan ile Zilhicce 1020 (Şubat 1612)'de evlenerek saraya damat olmuştur. Türlü nedenlerle, Eminönü'nde Yeni Cami civarındaki sarayında otururken 13 Ramazan 1023 (17 Ekim 1614) tarihinde, o sırada henüz beş yaşında bulunan küçük gelinin gözleri önünde boğularak öldürülmüştür. Okmeydanı civarında, Tersane Zindanı arkasındaki Maktul İbrahim Paşa (öl. 942/1536) sofasına gömülmüştür. Bu sofa bugün mevcut değildir. Çok zengin bir kimse olan Nasuh Paşa'nın idamından sonra bu yazlık saray, eşi Ayşe Sultan'a intikal etmiştir. Kösem Mahpeyker Sultan'ın kızı olan Ayşe Sultan, bundan sonra Karakaş Mehmet Paşa (şehadeti: 1030/Ağustos 1621) ile nişanlanmış fakat evlenememiştir. İkinci kocası Hafız Ahmet Paşa'dır. Paşa, 8 Şubat 1625'te atandığı sadaretten 1 Aralık 1626 tarihinde ayrılmak zorunda kalmış ve bir müddet sonra da, 13 Mart 1627'de o sırada 18 yaşında bulunan Ayşe Sultan ile evlenmiştir. Fakat Ahmet Paşa'nın 10 Şubat 1632 günü yeniçerilerce parçalanarak öldürülmesi ve Karacaahmet Mezarlığı'nın Yüksek Kaldırım kısmına gömülmesi ile 23 yaşında tekrar dul kalmıştır. Ahmet Paşa'nın vefatından dört ay sonra Murtaza Paşa ile evlenmiş bu da 1045 (1636)'da ölünce, 1049 (1639)'da Halep'li Ahmet Paşa ile nikahı kıyılmıştır. Bu dördüncü kocasının ölümünden bir yıl sonra da 1055 (Mart 1645)'te Voynuk Ahmet Paşa ile evlendirilmiştir. Voynuk'un 28 Temmuz 1649'da Girit'te şehit olması üzerine tekrar dul kalan Ayşe Sultan, bu tarihten beş yıl sonra ve 45-46 yaşlarında bulunduğu halde meşhur İbşir Paşa ile evlendirilmiştir. Büyük bir debdebe ile Üsküdar'a gelen İbşir Paşa, Ayşe Sultan'ın Nasuh Paşa'dan veraseten intikal eden bu sarayına inmiş ve şereŞne verilen muhteşem bir ziyafetten sonra 28 Şubat 1655 tarihinde zifaf odasına girmişti.