O Barão de Nova Friburgo, Antonio Clemente Pinto, rico plantador de café, resolveu construir seu palácio na Rua do Catete, entre pequenas chácaras e alguns sobrados. Num grande terreno que ia daquela rua até a Praia do Flamengo, ele mandou erguer um maravilhoso palácio, como diz Machado de Assis no livro Esaú e Jacó, "passagem obrigatória de toda gente, que olharia para as grandes janelas, as grandes portas, as grandes águias no alto, de asas abertas. Quem viesse pelo lado do mar, veria as costas do palácio, os jardins e os lagos..."
Mas não é estranho o palácio do lado da rua e o jardim nos fundos? Conta-se que a decisão de construir o prédio à beira do terreno atendeu ao desejo da própria baronesa. Ela teria ido visitar o local da casa e não gostou da parte onde ela seria erguida. Queria que o prédio ficasse perto da rua para que ela pudesse aproveitar a vista do logradouro público.
No livro "História das Ruas do Rio", o autor Brasil Gerson diz que foi assim que a baronesa argumentou: - Ó Barão, pensas que vou descer lá da fazenda, no meio do mato, para viver aqui cercada de mato também? Quero a casa dando janelas para a rua!"