L'origine del nome è incerta, forse dovuta ai possedimenti della famiglia Borgolo, che si trovavano nel territorio della chiesa di Santa Felicita il Oltrarno, che Luca Pitti acquistò come orti nel 1418, quarant'anni prima di iniziare la costruzione del palazzo che dalla sua famiglia prese in nome. Con il passaggio della proprietà ai Medici nel 1549, per l'acquisto da parte di Eleonora di Toledo, moglie di Cosimo I de' Medici, iniziarono gli ampliamenti e abbellimento che coinvolsero anche il giardino, il quale fu iniziato da Niccolò Tribolo, che dieci anni prima aveva già superbamente lavorato ai giardini della Villa medicea di Castello.

Il Tribolo lasciò un progetto al quale si attribuisce quasi certamente l'anfiteatro ricavato dallo sbancamento della collina, con il primo asse prospettico nord-ovest / sud-est tra il palazzo e il futuro Forte di Belvedere. Il Tribolo morì di lì a poco nel 1550, quindi la direzione dei lavori passò a Bartolomeo Ammanati e in seguito a Bernardo Buontalenti. Dopo di loro, nel XVII secolo la continuazione dell'abbelllimento del giardino fu opera di Giulio Parigi e del figlio Alfonso, i quali realizzarono l'ampliamento verso sud con il secondo asse del giardino verso Porta Romana.