参考答案：[证] 设
[*]
因A²=O且A^T=A，故
A²=AA^T=0，
即
[*]
从而得[*]
从而有 a_ij=0，i=1，2，…，n，j=1，2，…，n．故得证A=O．
[*]

解析：[评注] 证明矩阵A=O通常有两种构思，一个是按定义，设法证出每个元素a_ij=0(如本题)；也可设法证出秩r(A)=0．从而A=O。本题还可以如下证明：
方法二 (用秩) 按已知有A^TA=A²=0，那么对任意的n维向量x，恒有
x^T(A^TA)x=0[*](Ax)^T(Ax)=0
从而[*]恒有Ax=0，所以齐次方程组Ax=0有n个线性无关的解．那么n-r(A)=n．即r(A)=0，因此A=O．
方法三 (用秩) 根据r(A^TA)=r(A)．由题设A^TA=A²=0．故r(A^TA)=0．即有r(A)=0．所以A=O．
方法四 (用相似) 因为A是实对称矩阵知，A～A．即P^-1AP=Λ，那么A=PΛP^-1．于是PΛ²p^-1=0[*]Λ²=O[*]Λ=O[*]A=O．