[背景材料]

某县甲事业单位2006年初准备使用财政性资金修缮和装修一幢办公楼，预算金额为800万元，采用公开招标方式，经确认，此次采购项目已经达到公开招标的标准。该单位委托A招标公司代理进行公开招标的事宜，已知A公司取得的政府采购代理机构资格为乙级。A公司于2006年2月1日在财政部指定的媒体上公开发布招标文件，招标文件中确认的投标截止时间为2006年2月17日。招标活动中，A公司确定的符合专业条件的供应商为5家，最终确定中标的供应商为B建筑公司。
工程于当年2006年10月1日完工验收，实际结算金额与预算相同。由于施工质量极佳，事业单位准备再将其另外一幢楼房按照同样的标准进行外墙修缮，但不再进行内部装修，并与B建筑公司签订补充合同，该合同的预算金额为100万元。
2007年初，该县人民政府财政部门对甲事业单位2006年的财政活动进行检查时发现，甲单位将国家划拨的财政资金未及时入账，而是记入了自己法定账册以外擅自设置的账目中，并将财政资金私自存放在开户银行以外的其他银行账户，财政部门当即责令其改正并调整有关会计账目，追回了私存私放的资金，对甲单位作出了10万元的罚款，并对直接的责任人员处以3万元的罚款。

[问题]

财政部门对其进行的处罚是否合法，并说明理由。