参考答案：C

解析： 设工厂共有x人，共有房间y间。 若有6个房间每间住4人，其余房间每间住5人，还剩3人， 说明6×4+5(y-6)+3=x。 若有4个房间每间住5人，其余房间每间住4人，正好住下， 说明4×5+4(y-4)=x。 解得x=32，y=7，故应选C。