A、石灰水在空气中会与空气中的二氧化碳反应生成碳酸钙而变质，有新物质生成，属于化学变化，故此选项错误．

B、干冰制造云雾是利用了干冰升华时吸热，只是状态发生改变，没有新物质生成，属于物理变化．故此选项正确．

C、熟石灰改良土壤是利用酸、碱发生中和反应，属于化学变化，故此选项错误．

D、水垢的成分是碳酸钙和氢氧化镁，能与盐酸发生反应生成溶于水的物质而被除去，有新物质生成，属于化学变化，故此选项错误．

故选B．