Anteriormente era una Hacienda llamada "Hacienda del Refugio", donde se realizaba el proceso de minerales extraídos de las minas del municipio. Su principal beneficio era la Plata. Después de muchos años de abandono, el municipio decidió convertirla en Centro Cultural, con el apoyo de la Secretaría de Cultura del Estado.
Fue restaurada la parte principal, conservando su estilo. De igual modo, el patio y algunos cuartos traseros fueron renovados. Partes de la huerta y algunas trojes siguen abandonadas. Se cuenta que en el jardín aparece el fantasma de una jovencita, y esto parece sustentarse con una placa tipo lápida que encontraron en un traspatio y ahora tienen en una habitación sin techo, donde hay gente que lleva ofrendas. En dicha placa se menciona que la jovencita se llamaba Carmen Sescosse, quien falleció el 17 de noviembre de 1876, a los 15 años de edad.
