Po rozwiązaniu srebrnogórskiego garnizonu nastąpiła zmiana formy zarobkowania ludności, dotychczas źródłem utrzymania było wojsko. Zaczął rozwijać się przemysł; 1866 r. otwarto przędzalnie: Friedricha Felsmanna; Teodora Hentschela, Karola Hentschela; w 1869 garbarnię Paula Tonke; wytwórnię wyrobów metalowych i mechaniki precyzyjnej firmy E.Anders & Sohne. Powstała fabryka zegarków kieszonkowych firmy Eppner & Co - zajęła ona budynki dawnych koszar; odlewnia i wytwórnia wyrobów metalowych firmy Jacob & Loffler.
W roku1867 władze Srebrnej Góry zakupiły zabudowania garnizonowe i twierdzę. W latach osiemdziesiątych XIX w. z inicjatywy kupca Ergen Juttner zaczęto rozwijać przemysł turystyczny; atrakcjami turystycznymi reklamowanymi w tym czasie była twierdza zachowana w bardzo dobrym stanie, fabryka zegarków Eppnera a także wspaniałe powietrze oraz klimat Gór Sowich. Pomysł postawienia na turystykę okazał się trafiony, gdyż pomimo trudnej komunikacji, do Srebrnej Góry zjeżdżało wielu turystów ( 1884 -70 rodzin na wypoczynek, 4000 turystów zwiedzających ).
W 1884 r. powstało Towarzystwo Gór Sowich, dzięki któremu wyznaczono nowe trasy turystyczne, zadbano o ich wyposażenie, informację. Intensywny rozwój turystyki sprzyjał rozwojowi gospodarczemu miasta, co odzwierciedlało się w liczbie obiektów gastronomicznych i usługowych: 3 gospody, restauracje, winiarnia, piwiarnia, w 1885. na Donżonie funkcjonowała restauracja na 300 miejsc. Na początku XX w. Srebra Góra uzyskała połączenie kolejowe - Kolejka Gór Sowich - z siecią kolejową Śląska. Z tego okresu pochodzą dwa mosty kolejowe z czerwonej cegły trzydziestometrowej wysokości. Srebrna Góra uzyskała połączenie w trzech kierunkach : północnym - Bielawa, Pieszyce, Dzierżoniów; zachodnim - Ząbkowice
DZIEDZINIEC DONŻONU – POCZĄTEK XX w.
Śląskie, a stąd do Wrocławia, Kłodzka i na Górny Śląsk. Polepszenie łączności z resztą Śląska doprowadziło do wzrostu liczby przyjezdnych , dlatego też zrodziła się możliwość przekształcenia w większą miejscowość wypoczynkową. Powstały schroniska młodzieżowe oraz wiele miejsc noclegowych. Do większego rozwoju przyczyniły się także sporty zimowe (narciarstwo, saneczkarstwo), które w owym czasie były bardzo popularne.
Wybuch I wojny światowej zakłócił rozwój turystyki srebrnogórskiej. Na powrót Srebra Góra stała się miastem garnizonowym.
W latach 1924 założono w mieście wodociąg, gazociąg, przeprowadzono włączenie nowych terenów, wydzierżawiono forty Wysoka Skała, fort Rogowy.
Remontowano twierdzę - jako pomnik i symbol bohaterstwa pruskiego, planowano też budowę amfiteatru na 7000 osób na esplanadzie fortu, oddano nowy budynek szkoły katolickiej. Niestety wydatki zbrojeniowe Niemiec prowadziły do zubożenia społeczeństwa czyli ograniczenia ruchu turystycznego w dalej położonych miejscowościach.
Miejscowa gospodarka podupadła, liczebność miasta zmniejszała się. Stan taki trwał do wybuchu II wojny światowej. W twierdzy zorganizowano obóz jeniecki dla oficerów między innymi polskich z września 1939, a w 1940 roku Oflag VII b został zamieniony na Stalag dla zwykłych żołnierzy. Przeniesienia tutaj dwie berlińskie fabryki. Ludność utrzymywała się ze stacjonującego tu wojska, po raz kolejny w swej historii.
Po ruszeniu ofensywy radzieckiej do Srebrnej Góry dotarła fala uciekinierów z Wrocławia i Górnego Śląska. W 1945 roku na stokach nad miastem budowano umocnienia polowe oraz stanowiska ogniowe. 6 maja 1945 r. ogłoszono rozkaz opuszczenia miasta wraz z cofającymi się wojskami. 9 maja miasto zajęli Rosjanie.
W czerwcu 1945 roku przybywają do miasta pierwsi Polacy i jeszcze przez rok (do 12.IV.1946 r.) współmieszkają z niemiecką ludnością.
Miasto niszczało, budynki mieszkalne popadały w ruinę, warsztaty rozkradano a przemysł nie potrafił utrzymać się tylko z popytu miejscowego rynku. Na skalę krajową natomiast istniała tylko gospodarka zcentralizowana zgodnie założeniami systemu. Zamknięta została baza turystyczna i gastronomiczna, turystyka zamarła, niszczała Twierdza.
Regres gospodarczy wraz ze zmianami w mieszkalnictwie oraz wyludnieniem miasta doprowadziły do utraty praw miejskich, prawdopodobnie w 1949 roku. Otwarcie w mieście fabryki „Społem” 1958 r. nieco polepszyło sytuacje gospodarczą. Harcerze zagospodarowali fort Ostróg na stanowisko biwakowe. Pomagali w odgruzowaniu miasta, rozbiórkach a co najważniejsze, rozpropagowali w mediach Srebrną Górę.
W 1970 r. wyremontowano kościół ewangelicki i zamieniono go na restaurację (decyzja o tak diametralnej zmianie funkcji była i jest wielce kontrowersyjna), starano się rozbudować bazę turystyczną, aby po raz kolejny uczynić ze Srebrnej Góry miejscowość turystyczną.
Po stanie wojennym znów turystyka nie była w najlepszej kondycji, po raz kolejny miasto niszczało, nie wykorzystywana baza ulegała dewastacji.
W czasie poprzedzającym zakończenie II wojny światowej miało miejsce szczegółowe opracowanie i przegląd stanu twierdzy w związku z projektem uczynienia z Twierdzy Pomnika Bohaterstwa Pruskiego przez Adolfa Hitlera.
Prace remontowe rozpoczęto 22 sierpnia 1934 roku. W dysertacji naukowej opracowanej przy tej okazji wzmiankuje się o dokumentach z czasów Fryderyka II z okresu budowy ( oryginalne plany ) znajdujących się w ówczesnych archiwach Wrocławia i Berlina . .
Po zakończeniu działań wojennych miasto Srebrna Góra faktycznie przestało istnieć i do dnia dzisiejszego od tamtej chwili nie odzyskało statusu miejskiego.
W okresie powojennym do ‘65 roku nikt praktycznie nie wykazywał zainteresowania twierdzą. W roku ‘66 zorganizowana grupa harcerzy Hufca Dolnośląskiego zajęła się fragmentem twierdzy , rozpoczęli oni wieloletnią akcję harcerską „Akcja Srebrna Góra”. Ich działalność nie spowodowała ani nie była ukierunkowana na prowadzenie badań. Harcerze opiekowali się fortami użytkowanymi jako miejsca noclegowe.
W czerwcu 2002 roku uchwałą gminy Stoszowice powołano Forteczny Park Kulturowy a we wrześniu odbyło się jego oficjalnie otwarcie.