参考答案：A,C,D

解析： A选项，2001年第一家农村股份制商业银行张家港市农村商业银行成立。
B、E选项，农村资金互助社和村镇银行都是2007年新批准设立的机构。
C选项，农村信用社在新中国成立初期就出现了。
D选项，2003年第一家农村合作银行宁波鄞州农村合作银行成立。