La casa de San Millán es, por su rica historia y características constructivas, un ejemplar único y singular en toda la comarca de Calatayud. Se construyó en 1544 para albergar a los peregrinos y devotos que acudían a venerar las reliquias de san Millán conservadas en la contigua iglesia parroquial. La casa pertenecía por igual a Berdejo y Torrelapaja, pues hasta 1601 fueron un solo concejo. La regía una Junta compuesta por los párrocos, alcaldes y jurados de ambos Lugares. Por su carácter religioso estaba sujeta a la jurisdicción de los obispos diocesanos quienes controlaban su administración y daban normas para su gobierno. Tras las desamortizaciones del siglo XIX fue perdiendo su carácter religioso y quedó casi exclusivamente como hospital de beneficencia y, más tarde, fue convertida en viviendas. En la actualidad está prácticamente abandonada y en estado de ruina.