Il complesso monumentale delle Gallerie dell'Accademia occupa la prestigiosa sede della Scuola Grande di Santa Maria della Carità, una delle più antiche confraternite laiche della città, di cui fanno parte integrante anche l'omonima chiesa di Santa Maria e il monastero dei Canonici Lateranensi, realizzato da Andrea Palladio. L'esposizione di quadri che si trova all'interno delle Gallerie dell'Accademia costituisce la più significativa collezione di dipinti veneziani e veneti dal Trecento bizantino e gotico agli artisti del Rinascimento e ai vedutisti settecenteschi.

La Quadreria delle Gallerie dell’Accademia ospita all’ultimo piano del monastero palladiano dei Lateranensi circa 80 dipinti di scuola veneta costituenti il deposito del museo. All’epoca dell’apertura della quadreria, l’allora Ministro per i Beni Culturali, Antonio Paolucci, la descriveva così: “il deposito è la riserva vitale di ogni collezione pubblica, ne documenta la storia con le mutazioni del gusto... e' il luogo della ricerca... e' il museo nascosto che sta al museo visibile cosi' come gli organi interni stanno alla pelle e alla faccia di ciascuno di noi”.

Nel sestiere di Dorsoduro, ai piedi del ponte dell’Accademia, è ubicato il complesso edilizio di Santa Maria della Carità, costituito dalla chiesa, dal convento dei Canonici Lateranensi e dalla Scuola Grande, i cui locali, oggi comunicanti, ospitano la sede delle Gallerie dell’Accademia.