①有两个面平行，其余各面都是平行四边形的几何体是棱柱，此命题不成立，可将两个底面全等的两个棱柱叠加，所得的几何体符合条件但不是棱柱；

②有两侧面与底面垂直的棱柱是直棱柱，在斜棱柱中存在两个底面垂直于底面的情况故命题不成立；

③过斜棱柱的侧棱作棱柱的截面，所得图形不可能是矩形，此命题正确，若否必有此侧棱垂直于底面；

④所有侧面都是全等的矩形的四棱柱一定是正四棱柱，此命题不正确，因为两底面不一定是正方形．

综上③正确

故选B