A、二氧化碳灭火，是利用了二氧化碳不能燃烧、不能支持燃烧、密度比空气大的性质，既利用了其物理性质，又利用了其化学性质，故选项错误．

B、氦气填充探空气球，是利用了氦气密度比空气小的性质，不需要发生化学变化就能表现出来，是利用了其物理性质，故选项正确．

C、木炭用作烧烤燃料，是利用了木炭具有可燃性，需要通过化学变化才表现出来，是利用了其化学性质，故选项错误．

D、以镁粉为原料制照明弹，是利用了镁燃烧时发出耀眼的白光，需要通过化学变化才表现出来，是利用了其化学性质，故选项错误．

故选B．