参考答案：D

解析： 根据《银行业监督管理法》第三十四条的规定，现场检查时，检查人员不得少于二人，并应当出示合法证件和检查通知书，故A、B选项的说法正确。进行现场检查，应当经银行业监督管理机构负责人批准，故C选项的说法正确。检查人员少于二人或者未出示合法证件和检查通知书的，银行业金融机构有权拒绝检查，故D选项的说法错误。