Njegova hiša na ljubljanskem Bregu je bila središče intelektualno zahtevnega življenja v glavnem mestu Vojvodine Kranjske. Srečeval se je z zelo različnimi ljudmi, med katerimi so tudi najmočnejši ljudje tedanje Evrope, kakor večni francoski policijski minister in zadnji generalni guverner Ilirskih dežel Joseph Fouché in avstrijski državni kancler Metternich.

V njegovem salonu so izmenjevali svoje poglede slovenski razsvetljenci, prav tako pa je pomembno, da se je v njem oblikoval tudi eden najeminentnejših predstavnikov slovenske romantike Jernej Kopitar. Tudi za kulturno ustvarjalnost je bil Zosiov salon pomemben; omeniti gre vsaj baronovega sorodnika, skladatelja Franca Pollinija, ki je pozneje v Milanu postal dobrotnik Vincenza Bellinija, Antona Tomaža Linharta, Jurija Japlja in Valentina Vodnika.