灵活就业人员的退休年龄之所以较晚，主要原因有以下几点：

社保制度改革和完善

灵活就业人员的退休问题涉及到社保制度的改革和完善，需要相关部门进行深入研究和制定具体政策。由于灵活就业的工作形式和收入来源多样化，退休问题也需要根据不同情况进行个性化处理，这增加了政策制定的难度和复杂度。

社保缴纳基数和待遇差异

灵活就业人员需要全额自己承担社保费用，而职工社保则是由用人单位和个人共同缴纳。灵活就业人员的缴纳社保基数通常较低，导致其养老金水平相对较低。为了减少灵活就业人员与职工之间的退休金差异，政策上可能倾向于让灵活就业人员晚退休，以便他们能够多缴多得，长缴多得。

历史原因

早期的退休政策是根据早期的劳动强度和职业性质设定的。例如，女职工50岁退休，女干部55岁退休，主要是因为女职工多为体力劳动，而女干部为脑力劳动。灵活就业人员由于工作性质与早期的女职工相似，因此被归入女干部行列，按照55岁退休。

统筹基金压力

随着人口老龄化和养老保险基金压力的增大，国家有延长退休的准备。如果将女性职工的退休年龄逐步延长到55岁，可以减轻未来的养老压力。灵活就业人员由于需要全额承担社保费用，延迟退休可以让他们有更多时间积累养老金，从而减轻个人经济压力。

经济压力和生存需要

许多灵活就业人员在经历疫情等经济冲击后，收入减少或失业，面临较大的经济压力。为了生存，他们可能选择暂时停缴社保，等待收入好转后再继续缴纳。这种经济压力也促使政策制定者在考虑灵活就业人员退休时间时更加谨慎。

弹性退休政策

尽管存在延迟退休的趋势，但政策也提出了一定的弹性退休方案，例如在55到58岁之间弹性退休，或者男性在60到63岁之间弹性退休。这种弹性退休政策为灵活就业人员提供了一定的灵活性，但整体上仍然倾向于晚退休。

综上所述，灵活就业人员的退休年龄较晚，主要是由于社保制度改革、社保缴纳基数和待遇差异、历史原因、统筹基金压力、经济压力和生存需要以及弹性退休政策等多方面的因素共同作用的结果。