然而，帝王的爱恋，往往如夏日骤雨。班婕妤虽好，但她的庄重自持、恪守礼法，对贪图新鲜刺激的刘骜来说，渐渐成了一种无形的束缚。

更何况，她唯一的儿子早夭，更让这份感情少了些牵绊。

鸿嘉三年（公元前18年），汉成帝至阳阿公主府游玩，公主府设宴款待皇帝，意外遇到了那个传说能在掌心跳舞、为保纤腰不惜长年服用麝香的绝代舞姬——赵飞燕。

其貌美艳绝伦、妩媚天成，加之翩翩舞姿，更显妖娆，汉成帝瞬间为之痴迷。

之后，她带着惊心动魄的美艳和野心勃勃的妹妹赵合德，一同入宫。

赵飞燕能歌善舞、体轻如燕，尤其那勾魂摄魄之眼、婉转动人之喉、婀娜多姿之舞，将女子之妖娆展现得淋漓尽致，相较之下，班婕妤则显得木讷无风情。

赵合德更是貌若天仙，丰腴性感，肌肤如玉，吐气如兰，比赵飞燕更迷人几分。

得宠如斯的赵氏姐妹仍不满足，赵飞燕野心勃勃，对地位之渴求甚烈，他们陷害皇后咒骂皇帝，汉成帝一怒之下，把许皇后废居昭台宫。

之后，姐妹两个又诬陷班婕妤参与“巫蛊”案。

汉成帝听信谗言。

然而班婕妤却从容不迫地对称：

“我知道人的寿命长短是命中注定的，人的贫富也是上天注定的，非人力所能改变。修正尚且未能得福，为邪还有什么希望？若是鬼神有知，岂肯听信没信念的祈祷？万一神明无知，诅咒有何益处！我非但不敢做，并且不屑做！”

汉成帝觉得她说的有理，又念在不久之前的恩爱之情，特加怜惜，不予追究，并且厚加赏赐，以弥补心中的愧疚。

经此一劫，班婕妤彻底看清了帝王恩情的凉薄。她知道，留在皇帝身边，只会成为赵氏姐妹的眼中钉。

为免今后的是是非非，她认为不如急流勇退，明哲保身，因而缮就一篇奏章，自请前往长信宫侍奉王太后，把自己置于王太后的羽翼之下。

班婕妤前往长信宫侍奉王太后，从此呆在深宫。

班婕妤怜悯年华老去，借秋扇自伤，作《团扇诗》，又称《怨歌行》，班婕妤自知，自己如秋后的团扇，再也得不到汉成帝的怜爱了。