Y有限公司（以下简称Y公司）到税务机关办理税务登记。其提供的营业执照上记载的发证时间2011年1月4日，而到税务机关办理税务登记的日期是2011年2月9日。税务机关向Y公司送达了《责令限期改正通知书》，并口头告知其需要给予行政处罚。2011年2月15日，该公司财务负责人来到税务机关，税务机关负责处理该案的执法人员，口头说明了该公司办理税务登记的时间自领取营业执照之日起已经超过30日，需要罚款1000元。Y公司财务负责人当时认可了税务机关的意见，填写的陈述申辩材料中，明确写明同意处罚，执法人员遂当场向其送达了《税务行政处罚决定书》，该财务负责人签收了文书并于当天缴纳了罚款。但过了几天，Y公司的财务负责人拿了一份从工商行政管理局复印的送达回证，上面记载了该公司实际领取营业执照的时间是2011年1月9日，认为Y公司办理税务登记没有超过法定期限，不应给予行政处罚；即使从1月4日计算，到期日是2月3日，正是春节放假期，税务机关不上班；并告诉税务机关执法人员，由于上次受了处罚，回到单位后老板非常恼火，说新年才开张就受到处罚，不吉利。税务机关工作人员反驳说：（1）到期日为2月3日，顺延到第一个工作日，也是2月8日，Y公司2月9日才来，也已超期；（2）即使从Y公司实际领取营业执照的1月9日计算，到期日也是2月8日，也已经超过期限；（3）Y公司当时没有提供送达回证复印件，即没有举证，税务机关已经作出决定后才举证，是无效的；（4）Y公司当时已经明确认可处罚，并已经缴纳了罚款，不能反悔。执法人员还劝导，事情已经过去，罚款金额也很小，只要Y公司今后依法纳税，就不会有什么麻烦，不存在吉利不吉利的问题。由于言语不合，两人发生了较为激烈的争吵。2011年2月28日，税务机关收到法院的两份传票和行政起诉状副本，Y公司分别对《责令限期改正通知书》和《税务行政处罚决定书》，提出了行政诉讼。
就Y公司接受处罚后又反悔的问题，你认为（）。
A.处罚已经生效并履行完毕，依法不得反悔
B.其提供的送达回证复印件没有证据效力
C.税务机关可以对其提出的理由和证据进行复核
D.公司可以通过提出行政复议或诉讼来处理
