В 1712 г. Петр I подарил один из участков на Фонтанке своему соратнику фельдмаршалу Б. П. Шереметеву. Более 150 лет (до 1918 г.) дворец и усадьба принадлежали пяти поколениям известного дворянского рода Шереметевых.
В середине XVIII в. С. И. Чевакинский и Ф. Л. Аргунов (из семьи крепостных Шереметева художников Аргуновых) по проекту П. М. Еропкина (1730-е гг.) возвели каменный Фонтанный дом, по
строенный в глубине участка. Дворец представляет собой уникальный памятник усадебной архитектуры в стиле раннего барокко. Есть основания полагать, что в проекте были использованы чертежи Ф.-Б. Растрелли.
Интерьеры и павильоны в саду были созданы А. Ф. Аргуновым, в конце XVIII в. - начале XIX в. - перестраивались И. Е. Старовым, Д. Кваренги; А. Н. Воронихиным. Последняя перестройка интерьеров дворца принадлежит И. Корсини, который в 1838 г. создал эффектную чугунную ограду.
Северный флигель ("Фрейлинский") во дворе, с воротами, украшенными гербом рода Шереметевых, был построен в 1864 г. по проекту арх. Н. Л. Бенуа. Над гербом на воротах северного флигеля девиз - Deus conservat omnia (Бог сохраняет все). Этот латинский девиз выбрал для себя сподвижник Петра I, генерал-фельдмаршал Б. П. Шереметев. Работы проводились по заказу владельца Дмитрия Николаевича Шереметева (1803-1871).
Последний владелец дворца - граф Сергей Дмитриевич Шереметев - член Государственного Совета, почетный академик, историк, собиратель и исследователь древнерусских рукописей и старинных книг. Он создал Общество любителей древней письменности, которое собиралось в Галерейном флигеле дворца. Здесь же размещалось древнехранилище книг и рукописей.
После революции в доме был открыт музей дворянского быта, существовавший до 1929 г. В основу его фондов было положено частное собрание Шереметевых, универсальное по характеру и разнообразное по предметам. Оно включало в себя живописную картинную галерею, собрание скульптуры, оружия, нумизматику, предметы декоративно-прикладного искусства (собрания бронзы, фарфора, серебра, мебели), библиотеку (нотное и книжное собрание, рукописные материалы, открытки), собрание церковной утвари и икон (из домовой церкви Фонтанного дома) и т. д.
Затем в здании располагались научно-исследовательские учреждения. В 1989 г. часть помещений Шереметевского дворца была передана Музею театрального и музыкального искусства, и во дворце начались реставрационные работы, по воссозданию интерьеров XVIII-XIX вв.
Музей музыкальных инструментов
- был открыт в 1900 г. бароном К. К. Штакельбергом в Галерейном флигеле дворца Шереметевых.
В конце XX века несколько залов дворца выделили под возрожденный Музей музыкальных инструментов. Коллекция Музея поистине уникальна и по своему художественному значению признана четвертой в Европе. К очень редким образцам относятся поперечные флейты и виолы 17-19 веков.
Музей занимается не только сбором новых экспонатов. Работающие в нем специалисты воссоздают старинные, в том числе античные, музыкальные инструменты, а также реставрируют созданные в прошлых столетиях скрипки, клавесины и другой музыкальный антиквариат.
