若底面是正方形，有相对的两个侧面垂直于底面，另外两个侧面不垂直于底面，则棱柱为斜棱柱，故A不满足要求；

若底面是正方形，有相对的两个侧面是矩形，另外两个侧面是不为矩形的平行四边形，则棱柱为斜棱柱，故B不满足要求；

底面是菱形，且过一个顶点的三条棱两两垂直，则底面为正方形，侧棱与底面垂直，此时棱柱为正四棱柱，故C满足要求；

各个面都是矩形的平行六面体，其底面可能不是正方形，故D不满足要求；

故选C