Puławy, wzmiankowane w źródłach po raz pierwszy w 1489 r., zanim zostały podniesione do rangi rezydencji magnackiej, były małą osadą w kluczu końskowolskim, należącym kolejno do Konińskich, Tęczyńskich, Zbaraskich i Opalińskich.

W roku 1668 Zofia Opalińska, córka Łukasza, wniosła je w posagu Stanisławowi Herakliuszowi Lubomirskiemu, przyszłemu marszałkowi wielkiemu koronnemu oraz znanemu pisarzowi i mecenasowi sztuki prekursora nauka Puławy. On to właśnie w dogodnie i malowniczo położonej w przełomie Wisły miejscowości wzniósł w latach 1671-1679 pałac według projektu Tylmana z Gameren, który historycy sztukizaliczają do najokazalszych w dobie pełnego baroku w Polsce.

Reprezentował on nowy typ rezydencji wzorowanej na włoskiej villa rustica oraz współczesnej pałacowej architekturze francuskiej. Z pałacem sprzężony był ogród oraz unikalne na ziemiach polskich ujęcie wodne, sprowadzające wodę z oddalonego o 3 km wzgórza włostowickiego. Lubomirski przewidywał dalszą rozbudowę nadwiślańskiej siedziby, jednakże śmierć żony Zofii (1675) i otrzymanie godności marszałka wielkiego koronnego skłoniły go do zajęcia się rozbudową podwarszawskiej rezydencji - Ujazdowa. Puław i dochodowej włości końskowolskiej nie chciał się jednak wyzbywać i władał nią aż do śmierci w 1702 roku.

Wtedy dopiero Puławy przeszły w ręce jego córki Elżbiety i jej męża Adama Mikołaja Sieniawskiego. W roku 1731 stały się własnością Czartoryskich w następstwie małżeństwa Marii Zofii Sieniawskiej 1 voto Denhoffowej z księciem Augustem. Olbrzymi posag żony, na który składały się również pozostałe majętności Sieniawskich (latyfundium rusko-ukraińskie, hrabstwo tenczyńskie i dobra wilanowskie) oraz uzyskanie w listopadzie tego samego roku urzędu wojewody ruskiego, uczyniło z Czartoryskiego najbogatszego senatora w Koronie.