Üsküdar'ın bu büyük yapısı, eski ismi Öküz Limanı olan mevkide idi. Sağ ilerisinde ve yol aşırı yerde Abdurrahman Ağa Camii ve Yarımca Baba Bektâşî Tekkesi, karşısında ise Hüseyin Avni Paşa'nın 1291 (1874-75) tarihinde yaptırmış olduğu muhteşem çeşme vardır. Piyale Paşa Sahilsarayı yapıldıktan sonra Paşalimanı ismini alan bu mevkide, XIX. yüzyıl ikinci yarısında "gemilerin kalafat edildiği bir çekek yeri, müteaddit kahveler, tabakhaneler, Beylik Zahîre Anbarları", 1258 (1842) tarihli karakolhane ve sahilinde ise, Mumhane İskelesi bulunuyordu. Hüseyin Avni Paşa Yalısı'nın yerinde 1814 tarihli Bostancıbaşı Defteri'ne göre, Defter Emini Sadullah Efendi'nin yalısı, bunun üst tarafında ise Şehremini Hayrullah Efendi'nin yalısı vardı. Sadullah Efendi'nin yalısı daha sonra Reşit Paşa isminde bir zatın uhdesine geçmiştir. Hüseyin Avni Paşa yalısı bu yapının yerine inşa edilmiştir. Daha evvelki tarihlerde ve 4 Muharrem 1197 (Aralık 1782)'de, Sadrazam Raif İsmail Paşa'nın ve Üsküdar'da kütüphanesi olan Selim Ağa'nın sahilhaneleri bulunuyordu.