A、氧气是一种只有氧元素组成的纯净物，属于单质，故A错误；
B、水是由氢和氧两种元素组成，且其中一种是氧的化合物，属于氧化物，故B正确；
C、乙醇中含有C、H、O三种元素，属于化合物，但不属于氧化物，故C错误；
D、氯化氢是由氢、氯两种元素组成的化合物，不属于氧化物，故D错误；
故选B．