Początki miejscowości sięgają 1370 roku – wtedy to rozpoczęto kopalnictwo rudy srebra w okolicach przełęczy Srebrnej. Jednak dopiero w 1536 książęta Joachim, Henryk i Jerzy podpisują dokument, w którym osada górnicza otrzymuje nazwa Srebrna Góra, tytuł wolnego miasta górniczego i herb miejski (połowa orła na trzech poprzecznych belkach otoczona przez oskard i perlik).
- W 1633 pożar strawił miasteczko, ponadto Srebrna Góra była plądrowana przez wojska cesarskie i Szwedów, Dopiero w 1670 roku odbudowano miasto.
- W 1675 miasto przechodzi z rąk ostatniego księcia legnicko-brzeskiego ze śląskiej linii Piastów pod austryjackie zwierzchnictwo krajowe cesarza Leopolda I.
- W 1685 miasto i cały przyległy teren trafia do protektoratu klasztoru Henrykowskiego.
- 1740-1742 - I Wojna Śląska; Fryderyk Wielki wizytuje sudeckie placówki wojskowe znajdujące się pomiędzy Hrabstwem Kłodzkim a Śląskiem; 1742 Prusy zdobywają najważniejsze twierdze: Głogów, Brzeg, Nysę i Kłodzko a zarazem cały Śląsk.
- 1744-1745 - II Wojna Śląska - główna kwatera Fryderyka Wielkiego znajduje się w Kamieńcu Ząbkowickim, w klasztorze Cystersów.
- 1756-1763 Wojna Siedmioletnia - austryjacki obóz warowny zlokalizowano na Przełęczy Srebrnej; 1760 część wojsk austryjackich pod dowództwem Laudona przechodzi przez przełęcz Srebrnej Góry do Ząbkowic Śląskich, część wojsk pozostaje do obrony przełęczy. Po zabezpieczeniu Przełęczy Bardzkiej i po oblężeniu Twierdzy Kłodzko, wojska pruskie zostały rozgromione przez Laudona w bitwie pod Kamienną Górą. Przełęcz Srebrnogórska jest dla austryjaków najważniejszym obozem obronnym, który osłaniał ruch wojsk w Hrabstwie Kłodzkim i inwazje na Śląsk. 1763 pokój w Hubertusburgu; Fryderyk Wielki zarządza budowę Twierdzy na przełęczy Srebrnogórskiej.