延昌四年，即公元515年，宣武帝死，胡氏的儿子元诩即皇帝位，时年只有五岁。皇帝年龄太小，由其生母胡氏代为临朝听政。据《魏书卷十三皇后列传第一皇后》，“及肃宗渐阼，尊后为皇太妃，后尊为皇太后。临朝听政，犹称殿下，下令行事。后改令称诏，群上书曰陛下，自称曰朕。”胡氏临朝，所有的规制都与皇帝没有区别，她正经八百当起了女皇帝。女皇之下主要有两位辅政大臣，一是清河王元怿(yi)，是宣武皇帝的二弟，胡太后的小叔子;二是禁军总兵元叉，是胡太后的妹夫。
胡太后临朝第一件事，就是将宣武皇后高氏打入瑶光寺，幽禁起来。据《魏书卷十三皇后列传第一皇后(宣武皇后高氏)》，“及肃宗即位，上尊号曰皇太后。寻为尼，居瑶光寺，非大节庆，不入宫中。”被管制的高氏非大节庆，不得入宫。胡太后将高氏幽禁在瑶光寺后，她仍不放心，三年后，即公元518年，竟将其害死。据《魏书卷十三皇后列传第一皇后(宣武皇后高氏)》，“神龟元年，太后(高氏)出觐母武邑君。时天文有变，灵太后欲以后当祸，是夜暴崩，天下冤之。丧还遥光佛寺，嫔葬皆以尼礼。”高皇后死，以僧尼之礼葬于瑶光寺。
也是造化弄人，高太后死于瑶光寺十年以后，灵太后胡氏自己也入瑶光寺削发为尼。事情是这样的，武泰元年，即公元528年，国家发生变乱，晋阳军阀尔朱荣攻入洛阳，灵太后胡氏带领后宫嫔妃为避祸，入瑶光寺削发为尼。据《魏书卷十三皇后列传第一皇后(灵太后胡氏)》，“及武泰元年，尔朱荣称兵渡河，太后尽召肃宗六宫皆令入道，太后亦自落发。”在这些入瑶光寺削发为尼的女人当中包括北魏孝明帝肃宗的皇后胡氏，孝明皇后是灵太后族兄胡盛之女。据《魏书卷十三皇后列传第一皇后(孝明皇后胡氏)》，“武泰初，后既入道，遂居于瑶光寺”。有意思的是在此之前，孝文帝废皇后冯氏被孝文帝废掉以后，也是入瑶光寺出家为尼，后死于瑶光寺。
由此，北魏的四位皇后即孝文帝废皇后冯氏、世宗的两位皇后高氏和胡氏、肃宗皇后胡氏都先入瑶光寺出家为尼。
这里我们看到这座瑶光寺与皇室贵族妇女有密切的关系，那么这座瑶光寺是一座什么样的寺院?据《洛阳伽蓝记》，“瑶光寺，世宗宣武皇帝所立，在(洛阳)阊阖城门御道北，东去秋千门二里。”寺内有五层佛塔一座，尼房五百余间，规模不算大。《洛阳伽蓝记》里又说瑶光寺乃“椒房嫔御，学道之所，掖庭美人，并在其中。亦有名族处女，性爱道场，落发辞亲，来仪此寺，屏珍丽之饰，服修道之衣，投心八正，归诚一乘”。就是说，在当时佛教兴盛的北魏，洛阳瑶光寺一向为宫廷嫔妃所青睐，贵族妇女也纷纷到这里落发为尼，成一时之时尚。不幸的是这座美女如云的寺院在公元530年遭军阀尔朱兆的荼毒。据《洛阳伽蓝记》，“永安三年，尔朱兆入洛阳，纵兵大掠，时有秀容胡骑数十入瑶光寺淫秽。”胡骑闯入寺院，这些美人嫔妃惨遭蹂躏。
避入瑶光寺的灵太后胡氏并未躲过尔朱荣的追杀。据《魏书卷十三皇后列传第一皇后(灵太后胡氏)》说“荣遣骑拘送太后与幼主于河阴(孟津)”;又说“太后与幼主并沉于河”。就是说，尔朱荣派人将灵太后胡氏和时年只有三岁的临洮王之子元钊(幼主)从瑶光寺拘押到位于孟津的黄河南岸，将此二人一起沉入黄河。
