A、在电场的周围不一定存在着由该电场产生的磁场，原因是若变化的电场就一定产生磁场，若是稳定的电场则不会产生磁场的．故A不正确；

B、非均匀变化的电场产生非均匀变化的磁场，而均匀变化的电场产生稳定的磁场．故B不正确；

C、均匀变化的磁场一定产生稳定的电场，而非均匀变化的电场产生非均匀变化的磁场．故C不正确；

D、周期性变化的电场一定产生同周期变化的磁场，故D正确；

故选：D