A、过滤除去的是水中的不溶性的固体杂质，不能减少钙镁离子的化合物，不能使硬水软化；蒸馏得到的蒸馏水是净化程度较高的水．不含钙镁离子的化合物，能将硬水软化，故A说法错误；

B、活性炭具有疏松多孔的结构，所以可以吸附一些溶解的杂质，并能出去臭味，故B说法正确；

C、软水是指含有较少或不含可溶性钙镁化合物的水，而不是一定不含可溶性钙镁化合物，故C说法错误；

D、硬水中含有较多的钙镁化合物，长期饮用对身体有害，故D说法错误．

故选B．