《隋书》《南史》等史书中明确记载杨广喜欢过的女人至少有5个：萧后、崔氏女、陈婤、宣华夫人、容华夫人。其中对萧后是“宠敬”，对崔氏女是“爱幸”，对陈婤是“绝爱幸”，对姿貌无双但早逝的宣华夫人更是“深悼之”。
当然，杨广对萧后的宠敬在很大程度是为了应付母亲独孤后的需要，以及出于对正妻这个身份的尊重。地球人都知道，独孤后的悍妒之心简直就是世间少有，不只不准自己的丈夫临幸别的女人，朝中大臣宠爱自家小妾也要遭到她的谗毁，亲生儿子宠爱小妾同样要遭到她的诋毁。当杨广还是晋王的时候，为了把亲哥哥杨勇从太子之位上挤下来，自然要想着法子讨好母亲，于是表面上就装作只宠正妻萧妃一个，只和萧妃生孩子，但背地里照旧姬妾无数。
不过风流归风流，杨广没忘了要打好掩护，府中的姬妾就算有了孩子也不养。所以尽管有个善妒的母亲在一旁虎视眈眈，但演技影帝级别的杨广还是很轻松地在母亲面前表现出了一副乖巧儿子、忠贞丈夫的模样，相比之下，宠爱小妾云昭训、庶子多多的杨勇就非常不得母亲的欢心。
等太子之位一到手，悍妒的母亲也死了，杨广总算是松了一口气，对萧妃大不如以往，而正值盛年的萧妃也早在开皇6年生下南阳公主后就再也没有生育过，杨广的宠妃宠妾却日渐增多。登基后更不用说，杨广完全是撒开了欢地肆意挑选各种美女充实后宫，又重新设立了当初独孤后撤掉的三夫人、九嫔等高品级的嫔妃，后宫中有名分的嫔妃就有120人，还有无数打扮得漂漂亮亮的承衣刀人侍奉左右。至于被杨广“宠敬”的萧后，面对丈夫越来越荒唐的举止想劝也不敢劝，只能咽下百般愁苦，做了一篇《述志赋》聊以自慰。而成功坐上龙椅的杨广，不仅对萧后的宠爱变得淡薄了，对萧后的弟弟、萧后所生的嫡子们也越发不待见。
崔氏女是崔君绰的女儿，因为受到废太子杨勇的牵连，隋文帝亲自下诏将崔君绰等人杖责一百，妻子儿女家产田宅全部充官，崔氏女也因此被没入掖庭，从而得到了杨广的宠爱。后来杨广登基后又重新下了份诏书，说崔君绰、萧严等人的罪行罪不及子嗣，免除了他们家人的惩罚，准许他们重新入仕。对此，《隋书》明确记载萧严是因为中宫萧后的原因，崔君绰则是因为女儿“入宫爱幸”——因为杨广对崔氏女的宠爱，崔家才得到了这份殊荣。
不过在杨广的后宫中，因为女儿姐妹受宠而给整个家族带来了飞黄腾达的远不止崔家一家，陈朝的那群宗室子弟们也是因为姐妹得宠，从而被杨广爱屋及乌。话说这些陈朝公主也是一群可怜人。陈朝灭亡后，陈宣帝和陈后主的女儿们统统作为战利品被送往隋宫，由于公主数量众多，隋文帝干脆来了个陈女大派送：要么是赏赐给功臣做妾，比如将陈宣帝的女儿一个赏给贺若弼，一个赏给杨素；要么是直接没入掖庭为宫婢，如果被皇帝临幸了就成为后宫嫔妃，比如隋朝后宫中大名鼎鼎的宣华夫人就是陈宣帝之女宁远公主，还有一个弘政夫人，也是陈宣帝之女临川公主；剩余的还分配到了各个皇子亲王的府上，比如杨广的一个小妾就是陈后主的第四女广德公主，秦王杨俊的府中也有一个陈嫔，即陈后主第五女临成公主。
杨广最宠爱的有两人：宣华夫人与陈婤。
宣华夫人是直接没入掖庭充为宫婢的，《隋书》记载宣华夫人“性聪慧，姿貌无双”，而在独孤皇后的恐怖政策之下，整个后宫鲜少能有宫嫔被隋文帝临幸，“唯陈氏有宠”。不过这还不是最厉害的，更厉害的是宣华夫人不仅倾倒了做父亲的隋文帝，还迷住了做儿子的杨广，所以父亲一死，杨广迫不及待地当晚就临幸了宣华夫人，甚至还特意给了她好几枚同心结作为定情信物。等杨广正式即位后，立马就将宣华夫人召进宫中，只不过宣华夫人郁郁寡欢，不到一年多的时间就病死了，杨广十分伤心，不仅极为沉痛地哀悼了宣华夫人，还特意为她写了篇《神伤赋》。
值得一提的是，隋文帝的另一位宠妃容华夫人蔡氏也是和宣华夫人一样，在隋文帝死后就被杨广重新召进宫中，当完了老皇帝的宠妃，继续再做新皇帝的爱妃。至于陈朝的另一位公主陈婤，在大业二年被杨广册封为贵人。杨广对陈婤极为宠爱，史书称“绝爱幸”，宠爱到了什么程度呢？根据《南史》的记载，原本陈朝灭亡后，100多位宗室子弟被隋文帝发配到了各个地方，自己种田养活自己，但如今为了讨心爱的女人欢心，杨广将这些宗室子弟全部召回京城，授予他们官职。于是陈朝的宗室子弟们身为各处的地方官员，一时间遍及天下。
