A、用肥皂水可以鉴别硬水和软水，但是不能用肥皂水除去水中可溶的钙镁化合物，所以错误；

B、明矾溶解于水形成胶状物，能吸附不溶的杂质小颗粒沉降下来，而硬水与软水的区别是可溶性钙、镁化合物的含量不同，与不溶性杂质无关，所以错误；

C、过滤是把不溶性的固体和液体分开的分离和除杂的操作，硬水中含有较多可溶的钙镁化合物，用过滤的方法分离不出，所以错误；

D、烧开水时会发现有水垢产生，水垢就是水中钙镁离子在加热过程中形成不溶的碳酸钙、氢氧化镁等物质而沉淀出来一种混合物质，降低水中钙镁离子含量，硬水变成软水，所以正确．

故选D．