士族制度的衰落是多方面因素共同作用的結果，主要包括以下幾點：
士族自身的腐朽。士族在政治上占據高位，但往往不理政事，生活奢侈，缺乏實際的政治和軍事能力，逐漸喪失了統治能力。
寒門新貴的興起。如劉裕等寒門出身的人物通過軍功起家，掌握了實權。這些新貴逐漸在政治、軍事上取代了士族的地位。
經濟實力的削弱。士族的經濟基礎——大土地所有制開始動搖，家族關係的變化導致財富分散，封建依附關係削弱。
科舉制的實施。隋朝廢除九品中正制，實行科舉制，不問家世，使得更多非士族的寒門子弟有機會進入官僚階層，進一步削弱了士族的政治影響力。
不斷的戰爭和動亂。包括侯景之亂等，導致士族力量進一步削弱。
農民起義的影響。如黃巾起義等，削弱了士族的經濟和政治基礎。
綜上所述，士族制度的衰落是由於士族自身的腐朽、寒門新貴的崛起、經濟基礎動搖、科舉制的實施、戰爭和動亂以及農民起義等多重因素共同作用的結果。