A、水壶烧水出现水垢过程中有新物质碳酸钙等生成，属于化学变化．
B、牛奶变酸过程中有新物质生成，属于化学变化．
C、寒冷冬季室内窗户玻璃出现水雾过程中只是水的状态发生改变，没有新物质生成，属于物理变化．
D、用石灰浆粉刷墙壁，氢氧化钙会和二氧化碳反应生成碳酸钙和水，属于化学变化．
故选C．