A、空气中含有氧气、氮气、二氧化碳等气体组成，故是混合物，故A错误；

B、冰水混合物只有水一种物质组成，故是纯净物，故B选项正确；

C、稀硫酸中含有硫酸和水两种物质，故是混合物，故C错误；

D、石油中含有汽油、煤油等多种物质，故是混合物，故D错误；

故选项为：B．