参考答案：D

解析： 本题可以从词义的近义或者反义两方面去考虑。“蜗居”：(1)比喻窄小的住所。(2)伏处、潜居。“不负众望”指不辜负大家的期望。
A项中，“蜗居”取第一个意思，与“豪宅”是一对反义词。“众望所归”与“不负重望”是一对近义词。两者前后对应关系不一致，故排除。
B项中，“蜗居”取第二个意思，“潜居”意指隐居。两者是一对近义词，而“大失所望”与“不负重望”在词义上相反。
C项中，“别墅”跟“蜗居”是反义词。“深孚众望”指深得众人信服。两者对应规律不一致，排除。
D项中，“蜗居”取其第二个意思，与“游历”是一对反义词。“不孚众望”指不能使大家信服，未符合大家的期望。与“不负重望”常被混淆，但其实是一对反义词。