Köşk, Küçük Çamlıca'da, Küçük Çamlıca Caddesi, Rauf Paşa Hanı Sokağı ile Acı- badem yolunun çevrelediği geniş alanın içinde idi. II. Abdülhamit'in Hassa Müşiri olan Rauf Paşa, burada tam bir çiftlik hayatı yaşamış ve Avrupa'dan getirttiği aletlerle modern ziraat yapmıştı. Üç katlı köşkün alt katı kârgirdi. Önünde büyük bir havuz vardı ki, bugün de mevcuttur. Bu muhteşem yapı 1935 tarihlerinde yıkılmıştır. Rauf Paşa'nın bundan başka Fındıklı'da bir yalısı ve Ayas Paşa'ya çıkan Gümüşsuyu Caddesi üzerinde de büyük bir konağı vardı. Bu konak daha sonra Prenses İffet Hasan Hanım'ın uhdesine geçmiş ve bir ara da hastahane olmuştur. Daha sonra yıkılan bu güzel yapının yerinde şimdi Türk Hava Kurumu binası vardır. Bu konağın az ilerisinde ve Philips mağazasının bulunduğu yerde, aile kabristanı Üsküdar'da olan Müşir Namık Paşa'nın ahşap konağı bulunuyordu. Rauf Paşa, Abdülaziz ve Abdülhamit zamanlarında kumandanlıklarda, valiliklerde, Bahriye Nazırlığı ile Seraskerlik'te ve 27 sene Hassa Ordusu Kumandanlığı'nda bulunmuş değerli bir devlet adamı idi. 1908 tarihinde Çamlıca'daki köşkünde vefat ederek, 6 Recep 1297 (14 Haziran 1880)'de vefat eden babası Abdi Paşa'nın yanına, Karacaahmet Mezarlığı'na gömülmüştür. Hüsrev Paşa ismiyle bilinen bir kardeşi vardır. Abdi Paşa'nın İmrahor'da Hafız Ali Paşa Sokağı üzerinde büyük bahçeli bir konağı vardı. Ali Paşa, kayın pederi Abdi Paşa'dan bu konağı satın aldığından sokağa onun ismi verilmiştir.