其后，他调任中书省任舍人，这中书舍人共有六人，掌朝廷制诰执笔草诏，政令文稿撰写多由其出，非文采名重天下者不能担任。
可惜这几年圣人体弱病多目不能视，武后垂帘听政二圣临朝，皇权日渐旁落，武后大肆培植亲信，以弘文馆直学士刘祎之、著作郎元万顷为倚重，时奉诏于翰林院草制，密令参决，以分中书门下二省之权，中书舍人渐渐形同虚设。
孔志亮眼见朝局昏暗牝鸡司晨，去岁一怒之下竟是辞官不做，挂冠而去应老友之邀来到了江宁县，这江宁地处江东风景优美，加之又是六朝古都，让生平几乎从未离开长安的孔志亮生出了隐居之心，结草为庐蛰居在江宁城东南的横望山上，整日与老友下棋为乐，不时还看一个兵蛮子的笑话，倒也乐得其所。