D。

平均数是指在一组数据中所有数据之和再除以数据的个数。所以，－1、2、l、0、3的平均数为（－1＋2＋l＋0＋3）÷5=1。

中位数是一组数据从小到大（或从大到小）重新排列后，最中间的那个数（最中间两个数的平均数）。由此将这组数据重新排序为－1，0，1，2，3，∴中位数是按从小到大排列后第3个数为：1。

故选D。