天宝五年春，正月十三日，诏以陇右节度使皇甫惟明兼河西节度使，入朝任鸿泸卿。施行之下传至洮郡，咸直公主于京中传来消息，可能与已不利，李扬更是小心从事，任何事务皆不敢张口，只做了个哑巴司马。
过几日，杨钊又至书中安慰道：“妹婿不必小心，过几日便好。”果然二十三日，又传消息，至尊因皇甫惟明与韦坚结朋党密谋他事，下制书责韦坚谋求上位官职，存有野心，贬为缙云太守；皇甫惟明为挑拨离间君臣之间的关系，贬为播川太守。一时朝中大哗，人人皆是寒栗。
李扬回想杨钊之书中所说，便是叹了一声，私于妻杨氏小荷道：“朝中风云莫测，实是心寒。”便生了归隐之意。
月底，留于长安宅中的刘五遣人送书，将此事说透，原因也简单，不过是权势相争罢了。太子享与李林甫暗中不睦，本来他是想立寿王而陛下改为忠王，这便恐日后有不利，便日日想废之。这皇甫惟明、韦坚又与太子善，加之皇甫惟明入朝后曾劝至尊，‘林甫专权，恐为大唐之祸，不如改为刑部尚书韦坚代之。’早已收买至尊身边左右的李林甫隔日闻之，心中大恶。遂今御史中丞杨慎矜密查其所动向，以图把柄。十五之夜，太子行游，私会韦坚，而韦坚又不爱自身，转而密会皇甫惟明于景龙观。杨慎矜次日上书至尊，言其为太子亲戚之人，不该与边将狎混。二人之间行迹鬼魅，是否存有不当。至尊疑之，李林甫又使御史中丞王鉷上奏道，陛下，历来边将与国戚交通，不外乎谋权二字。但韦坚为太子亲，这恐怕是否对陛下有不利之图。李隆基这才大怒，朝责韦坚与皇甫惟明为逆，令兵部铨曹案中之能手京兆府法曹吉温审其事。韦坚、皇甫惟明知事关太子，便咬牙不屈李林甫之意，吉温也是束手。但至尊心中早已有了别样的想法，大抵是敲打太子，便是下制书戒百官，贬二人（摘改自资治通卷二百一十五）。
这让李扬心中更感恐慌，疾书于国公宅呈李林甫道：“政见不同，可拢之。此事天下人知，恐损岳父大人声誉！”。李林甫未回，但李岫却是回书道：“子仁如表字，心为仁，但朝中之事，恐不是你我之人所能左右，也非是和气一团之像。子仁，稍安勿燥。”
李扬接书，半响未言，轻轻的拍于案上，用手指猛然扣住死死团成一团，扔于角落之间。
陇右、河西不可一日无主政之人，二月，制下授朔方、河东节度使王忠嗣兼陇右、河西二节度使，一人执四节，军倾天下！
三月王方镇入主鄯郡，李扬拜之，皆是旧识谈说甚欢，言之安心为官，至尊心中常念子仁之语，这让李扬心中涌出一些暖意。
月末，妾室李氏柳叶儿房中冬梅闻喜，小荷以奴婢不得乱老爷之血脉为由，今其堕胎。血崩之下，冬梅差些丧命，但身子已损，不能再孕。知其事后，冬梅精神便是恍惚，常有疯癫之举动，安史之乱时走失再无音信，这今小荷心中自责不已，遂放开禁制。此后秋娘、夏莲、春桃、春月、梅子皆是生子女，却未立妾，以家中之人得以善终。
四月，契丹、奚平叛，至尊封故去燕国公李娑固为昭信王，其婿蓟郡公李楷洛为恭仁王，各为二族之主，以楷洛子李光弼为左清率府中郎将兼安北都护，充赤水军使。又下制书于洮郡，因李扬之妾李氏妇道贞德，为昭信王之后，特再为清和县君。洮州都督府司马李扬迁中书舍人押刑部事，复为清徐县开国男。
未及杨钊来书笑称，皆是贵妃之功，回京勿忘来拜。
接制书后，李扬宅中顿时起伏，妾室杨太真飞扬起来，仗贵妃势处处压众妾一头。事及正妻之利益，被小荷正以家法方是好了些。是夜叙与李扬，婉转承欢讨了欢心，又谄朵儿之坏。李扬不知情，依言二日辰责张氏，朵儿气不过，寻太真理论反被其呛之。朵儿一怒之下，掌掴其脸，太真不甘受辱与之破口，惊动众女。小荷又执家法将此事压下，而不与李扬说过，但二女之间怨气却是浓生，至死时后辈依言分葬于李扬之左右二穴中，云中之人皆称二妒美人冢。尤其今人称道的是，朵儿这边起一树头朝左，太真那边起一树头朝右，真是让人叹道不已。
五月入京之时，于驿中又闻，李适时因病推托政事，上书言之散地（译为闲散之地，此处代为闲散的官职）。李隆其准之，以其为太子太保遂罢其政事，以门下侍郎、崇玄馆大学士陈希烈为门下同平章事。在太子少保李适之子卫尉少卿李霅设宴待宾客，也不知所为皆是无人应赴，世人皆指长安城东薛王别墅却不敢言。
进中舍人公事房，进见阁老知权礼部待郎事达奚珣，与同为舍人的李日韦、阳浚等人相见礼，再拜右相（中书令）李林甫。
翁婿二人相见自是各有所感，不知何因，李扬只知心中对其隔阂已深，虽是笑颜相说，但那笑脸之下却是各自有些淡淡的冷漠。
再回兰陵之宅，咸直公主早已相候，见面已是泪眼。李扬痴痴而望，掩面别过一边，想将其拥入怀中却是有些不敢。小荷却是迎了上去，口称妹妹与之痛哭在了一起。
过后相说之间，咸直公主幽怨之极，暗然而道：“万安阿姊去岁自阿郎西行之后，便是被禁于宫中。妾身相看数次皆是被旨意挡回，也不知她如今过得可好？”说罢定是思念极深，便又是泪不成泣。
李扬