哲宗赵煦崩后，向太后在神宗赵顼诸子中选择了第十一子赵佶为帝，这便是赵构与柔福的父亲徽宗。赵佶深受其姑夫、贤惠公主驸马王诜影响，从这位汴京风流才子那里继承和发扬了三大爱好：绘画、蹴鞠和食色。他号称继承父亲赵顼与哥哥赵煦的遗志，像他们那样推行新法以强国，但借皇权之便及时行乐的热情很快胜过了即位之初的满腹壮志。他做不到如父亲赵顼那般锐意改革不事游幸，而在诗词歌赋、琴棋书画、寻花问柳上的造诣就远非父亲可比。他为数众多的妃嫔共为他生下三十一个儿子和三十四个女儿，赵构是第九子，柔福是第二十女，同父异母，在偌大的宫廷中照理说应像其他皇子与皇女那样，各自与自己的母亲居住，甚少有接触的机会，虽有兄妹名分，关系却大多是疏远的，即便相逢也未必相识。
但是，柔福对赵构来说却与别的妹妹不一样。自她诞生之日起，他便很清楚地意识到了她的存在。
赵构记忆中的母亲韦氏是位非常温柔娴静的女人，像后宫许多女人一样，以一种仰视而崇敬的态度卑微地爱恋着他的皇帝父亲。她常常在黄昏之后立于所居庭院之中赏园圃内的春兰秋菊，目光却不时有意无意地飘出影壁朱门，似在寻觅某人的身影。往往如此一站便是许久，直到月上柳梢，目中的希望渐渐燃尽。
长大之后，赵构开始明白了母亲赏花的含义，也看懂了她并不受父皇宠爱的事实。与父皇别的妃嫔比起来，母亲缺少能吸引他的优点。出身不及王皇后，姿色不及大小刘贵妃，口才不及乔贵妃，“资历”不及王贵妃与后来被册封为后的郑贵妃，若真要寻值得一提之处，母亲唯剩的便是那寒微出身造就的一脉温顺的性情了，可是这在一身风流才子习气的父皇看来却也未必是什么亮点。
在众妃中，赵佶尤其宠爱王、郑二贵妃，她们起初是侍奉向太后的宫女，因聪明伶俐又乖巧，颇得太后欢心，太后遂命她二人为慈德宫内侍押班，赵佶还在做端王时，每次入宫向太后请安都是她们代为传报。赵佶见她们姿容娇艳妩媚，人也聪慧而善解人意，便有了爱悦之意，时时与她们眉目传情。这一切向太后都看在眼里，待赵佶即位之后就把她们赐给他为妃。
也许在两人之中赵佶更爱郑贵妃一些，所以在原配王皇后崩后即册封郑贵妃为后，但对王贵妃的宠爱也绝非普通宫人可比。王贵妃所育儿女不少，她先后生下郓王楷、莘王植、陈王机及惠淑、康淑、顺德、柔福和贤福五位帝姬，柔福生于政和二年，是王贵妃的第四个女儿。
赵构的母亲韦氏只生了他一个孩子，而且，这已经是很意外的结果了。她起初只是服侍郑皇后的宫女，与皇后阁中另一宫女乔氏十分要好，两人遂结为姐妹，并约定若以后谁先获皇上宠幸必为他引荐另一人，共享天子恩泽。后来还是活泼喜人能言善道的乔氏先吸引了赵佶的目光，得宠之后她一路升至贵妃，而她也并未忘记当初誓约，在赵佶枕边说尽好话，劝他纳韦氏为妃。这事对赵佶来说自然何乐而不为，不过临幸之后转头便忘，只给了韦氏一个毫无地位可言的“平昌郡君”的封号。幸而韦氏颇有运气，寥寥几夕侍寝之后便怀了身孕，并于大观元年生下了赵构。
韦氏此后一生的尊荣全由此子带来。
因生了赵构，她很快被晋封为婕妤。随着赵构的成长，赵佶逐渐发现这个儿子有不同于其他诸子的智慧与胆略，于是对他的母亲也格外施恩，再晋封为婉容，不过韦氏的地位始终难与其他宠妃相比。
赵构第一次感觉到这点是在政和二年母亲生辰那天。
那时他年仅六岁，但异常早慧的他已能清楚地记住那日发生的事，并在将来的几年中理解了这事透露出的讯息。
当他父皇赵佶黄昏之后果真走入母亲韦婉容的庭院时，她竟全然没反应过来，一时忘了请安，只愣愣地望着她的皇帝夫君，木然呆立，不发一言。直到赵佶笑着对她说：“韦娘子可是不认识朕了么？”她才满面晕红地拉着儿子赵构施礼。她习惯了黄昏后的无望的等待，却早已忘了若真等到了人来的时候她该如何面对。
随后的她笑得仓促却喜悦。她的玉颜在流逝时光中悄然暗淡，此刻由衷的欣喜终于给了她重焕容光的机会。多年以后赵构仍然记得很清楚，母亲那时目中闪现的神采是他从未见过的。那日的母亲异常美丽，在父皇命人点亮的华灯光线之下，她温柔地依在父皇身边，听他语笑晏晏，间或轻轻抬目视他，脉脉含笑。
她的笑容在赵佶不经意地说起一个事实时忽然有凝结之感。他说：“朕记性真是不好，若非乔贵妃提醒，险些就忘了今日是韦娘子生辰。”
但是，她那一瞬间的失望神色很快消失，重又微笑开来，连声谢官家的眷顾垂爱和礼物赏赐。后来赵构猜测，也许，母亲是很清楚，能在生辰之时得到皇帝的临幸已是意外之福，她本无资格计较这个恩典是发自他本心，还是在别人劝说提醒之下出于怜悯施舍才施于她的。
可是她这难得的幸福时光也并未持续多久。那晚生辰宴席未吧，便有王贵妃的宫女跑来禀告王贵妃即将早产的消息。
王贵妃本次预产之日是在五日后，没想到竟会在这日便出现早产迹象。宫女说贵妃似乎深感痛楚，恐是难产。
赵佶闻声大急，立即起身向外走去，连向韦氏道别都没想到。韦氏也惶然站起，不敢挽留，只默默一福恭送。倒是赵构追着出去拉住了父皇的衣服，对他道：“今天是母亲的生辰，爹爹必须走么？还会回来么？”
赵佶低头和言道：“爹爹现在必须去看看。一会儿会回来看你和你母亲的。”
然后决然离去，这晚再也没回来。
赵构与母亲对着残席等至深夜，才有宫人来报：“王贵妃生下一位小公主，官家很喜欢，又见贵妃产后虚弱，所以留下照料，请韦娘子不要再等了。”
赵构闻言再问母亲：“爹爹是不是不来了？”
韦氏默然片刻，然后轻轻把他抱起，微笑着对他说：“你又多个妹妹了，喜不喜欢？你爹爹要照顾你的新妹妹，所以今天来不了了。但是没关系，我们不可以怪他。”
从此赵构便记住了，他有一个生于政和二年，与他母亲一天生日的妹妹。
政和三年，赵佶仿周朝称公主为王姬之旧制，改称公主为帝姬，用二字美名替换以往的国名封号，郡主称宗姬，县主为族姬。
赵构记得那个妹妹的美名是从乔贵妃口中听来的。某日乔贵妃前来与韦氏聊天，其间谈起王贵妃的女儿时忽然很有兴致地说：“姐姐见过王贵妃的四女儿么？就是跟姐姐一天生日的那个。长得真是玉雪可爱，而且一见人就笑，也不怕生，甚是可人。官家赐她美名为柔福，是所有帝姬中最好听的了。”
韦氏一听也笑着说：“真的么？那我什么时候也去看看，顺便准备点礼物送给她。”
她们继续闲聊着，都没在意一旁玩耍的赵构，也不知道他一直默默地听着，并记下了那与母亲一天生日的妹妹叫柔福帝姬。