Miasto założone około 1224 roku. Jego centrum tworzoną zabytkowe domy mieszczańskie. W budynku starej poczty z 1698 roku, zbudowanym w stylu baroku niderlandzkiego, ma obecnie swoją siedzibę Muzeum Górnicze. Kościół parafialny p.w. Wniebowzięcia N. M. P. posiada gotycki rdzeń, przebudowany w stylu barokowym w latach 1699-1702. Kościół szpitalny Świętego Krzyża zbudowano w 1772 roku. Z miasta pochodziła matka kompozytora Franza Schuberta (1797-1828). Kościółek p.w. św. Rocha na Krwawej Górze zbudowano w podzięce za ochronę przed dżumą w 1666 roku. W latach 1780-1790 chłopi z Rožmitála zbudowali kapliczkę św. Antoniego jako wyraz wdzięczności cesarzowi Józefowi II za zniesienie pańszczyzny. Po 1898 roku odnowiono niedaleko miasta miejsce pielgrzymkowe poświęcone Pannie Marii Opiekunce Życia – Maria Hilf. Na górze Biskupia Kopa (890 m n. p. m.) stoi wieża widokowa z 1898 roku. W pobliżu miasta Zlaté Hory znajdują się ruiny zamków Edelštejn, Kobrštejn, Leuchtenštejn. Na terenie miasta znajduje się największe dziecięce sanatorium chorób dróg oddechowych w Republice Czeskiej.