灵活就业人员领取退休金的时间主要取决于两个因素：一是达到法定退休年龄，二是累计缴纳养老保险满15年。

法定退休年龄

男性年满60周岁。

女性年满55周岁，但在某些地区或特定职业中，女性退休年龄可能为50周岁。

缴纳养老保险年限

必须累计缴纳养老保险满15年。

领取时间的具体情况：

就业困难人员：

符合条件的补贴对象最早自灵活就业登记表中记载的起始月份起享受补贴，补贴期限最晚至其“就业援助卡”有效期满或社会保险补贴和岗位补贴期满。就业困难人员的补贴期限除距法定退休年龄不足5年的可延长至退休外，其余人员最长不超过3年。

高校毕业生：

对离校2年内未就业的高校毕业生灵活就业后缴纳的社会保险费，给予一定数额的社会保险补贴，补贴期限最长不超过2年。

普通灵活就业人员：

灵活就业期间，出现到达法定退休年龄（或办理按月领取基本养老保险金手续）、社会保险补贴和岗位补贴期满等情形的，补贴期限至出现上述情形的当月。

注意事项：

灵活就业人员需要按时缴纳社会保险费，中断缴纳的需要补齐。

灵活就业社保补贴实行“先缴后补”，按季度集中发放。

申请灵活就业社保补贴的时间通常为每月的15号，但具体到账时间可能因地区政策而异。

综上所述，灵活就业人员应在达到法定退休年龄且累计缴纳养老保险满15年后开始领取退休金。具体的领取时间和补贴标准可能因地区和政策的不同而有所差异，建议咨询当地人社部门以获取最准确的信息。