我觉得不太可能是史家，首先说王家，王家是有王子腾这样的实权人物。王子腾不是嫡长子，他上面有哥哥，就是凤姐的父亲，祖传的爵位是凤姐父亲的，王子腾是实权是她自己奋斗来的，次说薛家，薛家皇商豪富但是政治上已经没有任何权利了。宝钗的父亲叔叔过世，薛蟠不懂事，薛蝌未长成，已经呈现败相。再说贾府，一门两国公，然.子孙不成气候，完全吃老本，贾赦袭爵一等将军，，贾珍三等将军，没有任何实权，贾琏宝玉不成气候，贾环兰哥还小。只有贾政五品员外郎，元春封妃，只做家族靠山，家族一点都不能帮元春出力，元春死后，贾家彻底玩完。只有史家子孙争气，一直在上升期，史家祖宗封保龄侯，没有像贾府国公爵位一直降级袭爵，史家湘云一辈儿不知都有谁，湘云父亲一辈儿三兄弟。湘云父亲早死，他的叔叔没有降级，袭爵还是保龄侯，另外一个叔叔是忠靖侯，这个爵位不是祖传的，应该是自己奋斗来的。财力上湘云家或许比不上贾王薛三家，湘云家的女眷在家要自己做针线活，但是子孙能力上应该是最强的。毕竟湘云叔叔的侯爵只有一个是祖传的还不降级，另一个叔叔的爵位绝不是大风刮来的，太平年代能得爵位，绝对不容易。
从种种线索上看，王家应该是最早落魄的家族，王熙凤的悲惨结局应该是和王家败落有关，她可能参与了转移财产之类的活动。薛家虽然只有薛蟠这样的来主事，但毕竟是商家，实力来自家庭财力，势力来自家族联姻。直接为参与政治活动的机会不多，除非受到牵连，这样的家族不太可能先于其他家族先败落。贾宝玉最终娶了薛宝钗，证明至少薛家败落不在贾家之前。
贾王史薛四大家族中最先衰败的是薛家，"薛公子幼年丧父"，薛家便只剩下一对孤儿加一个寡母。虽还有"百万之富"，也是等着薛蟠坐吃山空。在那个时代，光有钱还没能万能，有钱是"不着急，也没办法"。
应该是薛家。薛家祖父告后，薛家已无一人当官，只行商，且宝钗父亲早亡，薛蟠就是个败家子。且当时是士农工商，虽是皇商，但终究也只是商，有钱无权（就算有钱也耐不住有薛蟠败家），不过是四大家族彼此联姻，都是亲戚，薛家有钱，其余有权。
至于史家，史鼐怎么也是世袭保龄侯后迁外省大员，虽无钱，一定程度上还是有权的
史家是最先败落的，中静候史鼎（史湘云的父亲）在本书开始时已经去世，史湘云由她的叔父史鼐抚养，史家在朝廷无人做官，所以史家败落很早，熟读《红楼梦〉的朋友都知道史湘云曾经在家里作女工直到深夜。
史家，因为堂堂史侯之家，偌大个家族，居然不用针线丫鬟，针线活都是府上的娘儿们自己做，如果不是入不敷出捉襟见肘，谁愿意出这个丑？从宝钗和袭人议论的情形看，于史家，这是很丢脸跌份的事情。
