A、水是由水分子构成的，不含氧分子，故A错误．

B、氧气是由氧分子构成的，所以氧气中含有氧分子，故B正确．

C、二氧化碳是由二氧化碳分子构成的，不含氧分子，故C错误．

D、二氧化硫是由二氧化硫分子构成的，不含氧分子，故D错误．

故选B．