Le Palais des Arts, également dénommé Palais Carli, a été construit par l'architecte Henri-Jacques Espérandieu, à qui nous devons également des édifices majeurs tels que la cathédrale de la Major, le Palais Longchamp ou encore la basilique Notre-Dame-de-la-Garde.
Les travaux de construction durèrent 10 ans, avec des difficultés causées par la topographie du terrain, puis une interruption avec la guerre franco-allemande de 1870 et un manque de financement.
La construction de ce palais situé dans le 1° arrondissement, au fond de la place Auguste-et-François-Carli, fut entrepris pour accueillir la bibliothèque municipale et l'École des Beaux-Arts de Marseille. L'ancien couvent des Bernardines qui accueillait le lycée impérial (aujourd'hui lycée Thiers) mais également la bibliothèque de la ville, l'école des Beaux-Arts, le musée des Beaux-Arts et le Muséum d'histoire naturelle devait faire face à une augmentation importante du nombre d'élèves et avait donc besoin de place. Le musée des Beaux-Arts et le Muséum d'histoire naturelle furent eux délocalisés au Palais Longchamp.
La façade principale a été réalisée entièrement en pierre blanche de Tarascon. A son sommet, deux niches abritent le génie des sciences et le génie des arts. Dix bustes de monarques sont disposés sur toute la longueur de la façade, avec au-dessus l'inscription de l'art correspondant : Sésostris (Art égyptien), Périclès (Art Grec), Auguste (Art Romain), Constantin (Art Byzantin), Charlemagne (Art Roman), Saint-Louis (Art Ogival), Léon X (Art Italien), François Ier (Renaissance), Louis XIV (Art Français), Napoléon Ier (Art moderne).
La cour intérieure construite en briques et en pierres contraste avec la façade extérieure. Un buste commémoratif d'Henri-Jacques Espérandieu s'y trouve. Des hommages aux génies de l'art s'inscrivent sous les fenêtres : les architectes Brunelleschi, Bramante, Mansart ; les sculpteurs Michel-Ange, Goujon, Coysevox, Coustou ; les peintres Léonard de Vinci, Le Corrège, Raphaël, Poussin.
Aujourd'hui, le Palais des Arts abrite le Conservatoire National de Région "Pierre Barbizet".