参考答案：

首先要保持冷静，积极应对，从以下几个方面去做：

（1）认真了解他们议论负面影响的情况，看是否属实，如有机会到单位和他们进行沟通，消除误解；如情况属实，要制定整改措施，积极消除影响，树立单位新形象。

（2）通过此事，认真反思，吸取教训。在今后的工作中要有严谨的工作作风，求真务实，真正做到情为民所系，权为民所用，利为民所谋，事为民所做。