Dom pod Twierdzą powstał w 1776 roku – pierwotnie służył żołnierzom Twierdzy Srebrna Góra za mieszkanie – należał do jednej z czterech grup budynków koszarowych mieszczących w sumie aż 800 żołnierzy. Od strony południowej – czyli od strony wąwozu znajdowała się chroniąca koszary palisada a za nią stromy stok bojowy zwieńczony wałem z ławką strzelecką – do dziś podziwiać możemy świetnie zachowany stok bojowy!. Od frontu budynku biegła historycznie wewnętrzna droga wojskowa, przy której znajdują się zachowane do dziś budynki latryn wojskowych – dziś te urocze budyneczki pełnią na szczęście funkcje różnego rodzaju schowków.
Budynek Domu pod Twierdzą zachował historyczny układ pomieszczeń (aby dostosować do współczesnych wymogów do każdego pomieszczenia mieszkalnego dobudowano łazienkę). W budynku możemy podziwiać historyczne stropy z grubych belek z podsufitką na „polską klepkę”, ciężkie kolebki schronów artyleryjskich (dziś pełniące funkcję korytarzyka), a także wciąż funkcjonujące kominki ukryte w półtorametrowych ścianach – kiedyś będące jedynym źródłem ciepła. W dolnej części budynku zachowały się drzwi wewnętrzne z oryginalnymi „klamkami” i tajemnicze okienka doświetlające wewnętrzne schrony. Również drzwi prowadzące do budynku są świadkiem czasów budowniczych Twierdzy Srebrna Góra.
Budynek został wyremontowany w latach 2008-09, dziś pełni funkcję Pensjonatu.






