A、水壶烧水出现水垢是由于钙镁化合物受热生成碳酸钙、氢氧化镁等新物质，属于化学变化，故A错；

B、牛奶变酸有酸性物质生成，属于化学变化，故B错；

C、寒冷冬季室内窗户玻璃出现水雾，是由于水蒸气冷凝成水滴过程，没有新物质生成，属于物理变化，故C正确；

D、用石灰浆粉刷墙壁，干燥后，墙壁变硬是由于氢氧化钙与二氧化碳反应生成碳酸钙沉淀和水，属于化学变化，故D错．

故选C．