La Porta Santa era l’ingresso principale dell’abitato e nei secoli è stata modificata costruendo la famosa torre con orologio, caratteristica dell’attuale struttura. Il suo nome per esteso sarebbe porta Santa Maria in onore dell’affresco, con cui originariamente era decorata, che rappresentava la Madonna con il bambino. Probabilmente la dedica alla Vergine è da ricondurre ad un Giubileo quando le porte venivano aperte simbolicamente per inaugurare l’anno speciale per la religione cattolica. Durante il medioevo, nei periodi più bui ed ostili, il portone restava chiuso per proteggere l’abitato: ancora oggi, ai lati dell’arco, si possono notare i cardini dove erano fissate le due ante di un gigantesco portone di legno. La leggenda narra di un monaco che una notte di inverno, con pioggia battente e vento forte, bussò alla grande porta per cercare rifugio dall’intemperie. I soldati a guardia non si fidarono e, temendo si trattasse di un’escamotage per assaltare il borgo, non aprirono: il monaco allora lanciò una maledizione sul villaggio gridando “Vi auguro 100 giorni all’anno con tempesta come questa notte!”. Curiosamente a Serra Sant’Abbondio soffia molto spesso un vento impetuoso e le precipitazioni sia nevose che piovose sono molto abbondanti. L’altra porta del paese, risalente al XIII secolo, è quella di Macione, che insieme alla Porta Santa, custodisce il centro storico: due vie parallele al corso centrale che fanno da cornice alle costruzioni in pietra dal disegno semplice e lineare. Le architetture del piccolo Comune delle Alte Marche confermano la rilevante importanza strategica che ebbe quale luogo di difesa e di controllo della via più impervia, ma più breve tra l’Umbria e il litorale adriatico. Nel 1384 Serra Sant’Abbondio entrò a far parte del Ducato d’Urbino e nel 1481 il duca Federico da Montefeltro dette incarico al senese Francesco di Giorgio Martini di erigere una rocca a difesa della valle, di cui lo stesso architetto ha lasciato una particolareggiata descrizione in un suo manoscritto. Purtroppo non resta nulla ai giorni nostri di questa fortezza che fu distrutta per ordine del duca Guidobaldo al fine di sottrarla alla conquista di Cesare Borgia.