Původně stával na Klatovské hůrce (dříve též Žaludové hůrce) gotický kostel sv. Anny přestavěný v 18. století v barokním stylu. Po zrušení kostela Josefem II. se stavba pomalu začala měnit v ruiny. Oživit místo se podařilo až v závěru 19. století. Nejdříve byla v roce 1886 vyhlášena veřejná sbírka na zřízení „vyhlídkového cimbuří“. K výstavbě vyhlídkové věže s dřevěnou nástavbou došlo o rok později, v roce 1920 zde byl založen městský park. Rozhlednu u zříceniny kostela spravoval až do konce 20. let 20. století klatovský KČT, kdy musela být pro špatný stav stržena. Současně byla opět zveřejněna výzva o pomoc při získání financí na stavbu moderní restaurace s rozhlednou dle projektu pražského architekta Černého. Hospodářská krize 30. let však tento plán zrealizovat nakonec neumožnila. Rozhledna byla nakonec obnovena mnohem skromněji a původní presbytář sloužil jako divadelní scéna. V lednu 2006 získal objekt (vyjma střešní části s anténami radiokomunikací) do nájmu od města Klatovy Klub přátel Klatovska, z.s. se záměrem zpřístupnit místo široké veřejnosti. O rok později zde jeho členové otevřeli alespoň občerstvení. V červnu 2010 zastupitelé Klatov schválili rekonstrukci Klatovské hůrky jako hlavní prioritu do připravovaného programu ROP NUTS II - Jihozápad. Součástí rekonstrukce mělo být i navýšení rozhledny s cílem zlepšit okolní vegetací velmi omezený výhled. Ačkoli tento záměr nevyšel, povedlo se rozlednu na Klatovské hůrce alespoň jednorázově otevřít 22. srpna a 19. září 2015 díky drobnějším úpravám, které provedli technici Správy nemovitostí Klatovy. Od června 2016 je vyhlídka již pravidelně přístupná.