A、海水中含有水、氯化钠、氯化钙等物质，属于混合物，故A错；

B、冰水混合物是由水一种物质组成，由水分子一种分子构成，属于纯净物，故B正确；

C、矿泉水中含有水、多种矿物质属于混合物，故C错；

D、自来水中含有水和消毒剂等物质，属于混合物，故D错．

故选B．