二月初四，中宗下诏恢复大唐国号。
中宗复位后，韦后干预朝政。诛杀二张后，洛州长史薛季昶曾劝说张柬之趁机除掉武三思等人，以绝后患。而张柬之认为武氏势力已去，固不采纳。此时，武三思的儿子武崇训是中宗李显之女安乐公主的驸马，加之武三思又与亲家母韦后私通。十六日，中宗任命太子宾客武三思为司空、同中书门下三品。三月二十六日，中宗任命张柬之为中书令。五月初七，中宗又将张柬之等人以及武三思等十六人作为国家的功臣，赐于铁券，并规定这些人如果所犯不是谋逆之罪，每人都可宽恕十次死罪。权势渐盛的武三思最记恨张柬之逼其姑母武则天退位还政。于是武三思便向中宗献计陷害张柬之等人，中宗大喜。五月十六日，中宗封侍中、齐公敬晖为平阳(今山西临汾西南)王，桓彦范为扶阳(今安徽巢湖)王，中书令、汉阳公张柬之为南阳(近河南南阳)王，特进、同中书门下三品、博陵公崔玄暐为博陵(今河北定州)王，同时免去他们的宰相职务。每月只准他们初一、十五进京朝见。
神龙二年(706)三月，中宗又贬敬晖为朗州(今湖南常德市)刺史，贬崔玄暐为均州(今湖北十堰市、丹江口市)刺史，贬桓彦范为亳州(今安徽亳州市)刺史，贬袁恕己为郢州(今河北钟祥、京山)刺史。
五月十八日，当刚将则天皇后的灵柩在梁山乾陵安葬完毕，武三思就迫不及待地指使郑愔诬告五人谋反。
六月初六，中宗再贬敬晖为崖州(今海南琼山东南)司马，贬韦彦范(赐姓韦)为泷州(今广东罗定市东南)司马，贬张柬之为新州(今广东新兴县)司马，贬袁恕己为窦州(今广东信宜市西南)司马，贬崔玄暐为白州(今广西博白县)司马，一律为员外官，还得长期留在任上。并削夺了他们的勋爵。
七月三十日，武三思又派人分条陈说韦皇后的风流艳事，并将这些字条贴在洛阳的天津桥上，请求废除韦后。中宗大怒，命御史大夫李承嘉追查。李承嘉上奏：“这些字条都是敬晖、张柬之、桓彦范(还姓桓)、袁恕己和崔玄暐派人书写和张贴的，请陛下将其五人灭族。”武三思又指使儿媳安乐公主对这五人进行诬陷。大理丞李朝隐上奏说：“案子还没有经过详细审问，不能急于将其灭族。”中宗考虑到曾赐与张柬之他们铁券，承诺不处他们死刑。于是，便流放敬晖于琼州(今海南琼山)，桓彦范于瀼州(今广西上思西南)，张柬之于泷州(今广东罗定市东南)，袁恕己于环州(今广西环江县西北)，崔玄暐于古州(今四川理县)。五人子弟中，凡年满十六岁以上的皆流放岭外。并提升御史大夫李承嘉为金紫光禄大夫[4]、襄武郡公。又赐彩物五百段，瑞锦被一床。将大理丞李朝隐贬为闻喜(今山西闻喜县)令。后来，武三思又暗示太子李重俊上表，诛其张柬之等五人三族，中宗没有同意。
郁闷中的张柬之和崔玄暐已于贬地相继去世。中书舍人崔湜对武三思说：“如果敬晖等人再回朝中，将会成为祸患，你不如派人伪造皇帝的命令将其全部杀掉。”武三思听后同意。于是，崔湜就推荐了自己的表兄周利贞。
神龙初，身为侍御史的周利贞曾被张柬之等人贬为嘉州(今四川乐山、峨眉、夹江等地)司马，因此，他对张柬之等人恨之入骨。周利贞时被武三思召为刑官，以右台侍御史的身份奉命出使岭外，在贵州，命人将桓彦范捆绑在竹筏子上拖行，直至血肉模糊露出骨头时，再行杖杀。将敬晖剐而杀之。逼袁恕己饮野葛汁，袁恕己饮至数升而不死，毒性发作，袁恕己难受得用手扒土，手上的指甲几乎被磨光，最后再以乱棍打死。周利贞回朝后，被提升为御史中丞。
睿宗景云元年(710)七月，追赠张柬之中书令，封汉阳(今甘肃礼县一带)郡公，谥曰“文贞”，再授一子官职。建中初，再赠司徒。
