Короткий ответ

В большинстве случаев правильно писать: музей истории Санкт‑Петербурга — только «Санкт‑Петербурга» с заглавной буквы.Если это официальное (полное) наименование учреждения, то первая буква названия тоже пишется с заглавной: Музей истории Санкт‑Петербурга (заглавная М и заглавные части собственно имени «Санкт‑Петербург»).

Почему так

В русском языке в названиях организаций и учреждений общепринято писать с заглавной первой слово полного официального наименования (Музей...). Собственные имена (географические названия: Санкт‑Петербург) всегда пишутся с заглавной буквы; в двухкомпонентных названиях «Санкт‑Петербург» обе части сохраняют заглавную букву и в падежных формах (Санкт‑Петербурга). Обычные нарицательные слова, составляющие название (истории), — не собственные имена и в составе наименования пишутся со строчной буквы, если только само слово не входит в зарегистрированное название как отдельный именованный элемент (редко).

Примеры

В тексте (неофициально): в музее истории Санкт‑Петербурга проходит выставка. В официальном названии: Музей истории Санкт‑Петербурга проводит выставку.
(Если хотите быть строго точным для конкретного учреждения — проверьте его официальное наименование на уставе или сайте.)