La costruzione della rocca iniziò lo stesso anno della dazione di Bergamo al re di Boemia, 1331. I lavori furono condotti sotto il coordinamento di Guglielmo di Castelbarco, vicario del re, furono proseguti dai Visconti, dopo che l'effimera esperienza, circa 20 mesi, di Giovanni del Lussemburgo era sta chiusa dalle armi viscontee, e ultimati da Azzone Visconti nel 1336.

I Visconti aggiunsero delle opere di fortificazione che ne aumentarono la funzione difensiva sia contro nemici esterni sia contro quelli interni e le loro eventuali velleità di ribellione: il castello come difesa ma anche come strumento di repressione e di controllo del territorio. Il podestà Negro Pirovano, che reggeva Bergamo in nome dei Visconti, fece apporre una targa commemorativa sui muri che erano stati fatti costruire per rinforzare il castello, 1345. Nel 1355 Bernabò Visconti iniziò la costruzione, sul colle San Giovanni, della Cittadella chiamata Firma Fides, come indicato in un'apposita lapide. La lapide, oltre all'iscrizione e allo stemma visconteo, aveva in altorilievo una figura umana a tre teste come allegoria della concordia che regnava tra i Visconti. Quest'opera completò la funzione difensiva della Rocca, costruita sul colle Sant'Eufemia, racchiudendo il centro storico tra i due colli ora entrambi fortificati. Le due fortezze costituirono così un unico complesso difensivo coordinato, di cui uno, la Rocca, rappresentava, in caso di occupazione nemica, l'ultima possibilità di salvezza e di contrattacco, l'ultima ridotta. Quel che rimane ora della Cittadella è poco meno della metà dell’opera originaria che comprendeva anche l’area dell’attuale Seminario vescovile. La città vecchia era così racchiusa in un recinto fortificato, vagamente triangolare, che aveva ai propri vertici la Rocca a sud-est, la parte della Cittadella attualmente superstite a nord-est e la cosiddetta Cittadella Superiore, ora scomparsa, a sud-ovest.