Pierwszy pałac w Baranowicach zbudowano już w XVII stuleciu. Znaczącej przebudowy (w stylu klasycystycznym) dokonano pod koniec pierwszej połowy XIX wieku, kiedy jego właścicielem został landrat (starosta) rybnicki - Emil baron Durant de Senegas, pan na Baranowicach i Osinach.