Durante il Medioevo esistevano a Perrero sicuramente due castelli, uno al Cassas e l'altro a monte del capoluogo.
Il primo, denominato Palaizass, cioč "palazzaccio", era una costruzione enorme, composta da pił ali, con due accessi, e con mura laterali attorno al corpo principale. La facoltosa famiglia che ne era proprietaria arrivava dalla Savoia, trasferitasi in val San Martino (come si chiamava allora la Val Germanasca) per avere ottenuto in feudo il territorio omonimo. La famiglia si estinse nel XVIII secolo, dopo di che il castello, gią pił volte rimaneggiato, rimase in stato di abbandono.
Le rovine che si possono osservare oggi, poco sopra la Provinciale sulla destra orografica della valle, sono alcuni muri coperti dalla vegetazione spontanea, con tracce di aperture.
Il secondo castello, di cui si accennava prima, apparteneva ai primi feudatari di San Martino, discendenti di Olderico Manfredi, padre della contessa Adelaide di Susa (autrice della famosa donazione di numerosi suoi possedimenti alla Chiesa). La sua ubicazione č materia controversa: secondo alcuni sarebbe da individuarsi in una zona poco sopra l'attuale chiesa cattolica; secondo altri nella borgata Eirassa, in posizione maggiormente sopraelevata.