后来紫王爷从当时还是凤姨娘的口中了解了全部的真相，知道她与谢大老爷之间夫妻之事是假，放下心的同时却也有着不甘心，明明是自己的女人，而且还给他生了一个活泼可爱的女儿，怎么还能挂着别的男人小妾的名头？他想去凤家求情，然后带着自己的王妃和女儿一起回西域。
然而，事与愿违，命运再一次捉弄了两个相爱的人，紫王爷再一次接到线报，因为意识到这一趟回去有很大的危险性，就算是再不甘，再不愿，可是他还是决定留下凤姨娘母女俩再一次一个人踏上归途，谢平凡也正是在十个月之后出生的。
而至于后来的事情，自然也同紫王爷在倚云寺见到谢大老爷时说的那样。当年紫王爷再一次被迫无奈的离开自己的妻女时，做了更充分的安排，唯恐被人知道对妻女反而不利，他并没有惊动别人，只是悄悄地留下了精心培养的暗卫，还有那几块令牌。留令牌的时候，他有多方面的考虑，一是不知道回去是否能躲避危险，若是令牌落到了那个人的手里，一切都完了；而最重要的却是他在为自己的妻女做最后的打算，若是万一他此去有个万一的话，最起码那几块令牌在妻子的手中，自己的人绝对会寻到妻女，然后恭恭敬敬的伺候左右，那自己就算是有万一也无憾了。
只是人算不如天算，事情总有变数，紫王爷万万没有想到谢大老爷当年的信誓旦旦，却起了小人心思，竟然爱上了自己的妻子，花了血本找来江湖中人杀了他留下保护妻女的心腹，然后竟然带着一家子都消失了。而当年他知道之后正想去找，却不防备中了剧毒，整整昏迷了几年才醒来……
谢灵芸知道了当年的事情之后，心里时常的感叹命运的捉弄，因此心里的心结却也慢慢的解开了，有的时候还会对薛仁杰撒撒娇或者是按耐住羞涩表达自己的感情，这让薛仁杰高兴的几乎发狂，两个人之间的感情也突飞猛进。现在有了孩子，两个人更是密不可分了。
太夫人并没有发现谢灵芸的走神，笑着继续问道：“这一次带着平凡一起还是把他留下来？”
关于平凡的去留问题，还真的起了争议，谢灵芸见太夫人问起，也没有隐瞒，道：
“父王和母亲的意思是带着平凡一起走，可是姨母却有些不愿意。”
太夫人知道皇贵妃为什么阻拦，毕竟现在紫王爷在西域的身份尴尬，而且这一去有很大的危险，皇贵妃自然是要阻拦。相信若不是知道紫王爷和紫王妃之间经历的这些事，皇贵妃甚至是连紫王妃都一起拦着了。
太夫人心里明了，便笑着道：“那平凡是什么意见？”在太夫人看来，谢平凡已经算是个大孩子了，有些问题该有自己的主见了。
提到这个，谢灵芸欣慰地笑了笑，道：“这孩子说是担心我，所以不想跟着去，不过我看着他也是担心父王和母亲的安危的，呵呵，小大人似得，竟然还学会担心起这个担心起那个来的了。”
“平凡那孩子是一个体贴懂事的孩子。”太夫人笑道，然后话音一转，道：“其实说真的，我也不是太赞同让平凡跟着一起去，毕竟紫王爷这一趟回去很危险，只是恐怕紫王爷刚刚才与你们姐弟俩相认，你是不可能跟着一起去，平凡他却是不愿意再留下了吧？”