参考答案：[解] 由A的特征多项式[*]
知矩阵A的特征值是λ₁=λ₂=6，λ₃=-2．由于矩阵A可以相似对角化，故λ=6必有2个线性无关的特征向量，那么由
[*]
得知 a=0．因此[*]
二次型的矩阵为
[*]．由
[*]
知二次型x^TAx=x^TA₁x的特征值是6，7，-3．
对λ=6，由(6E-A₁)x=0 得α₁=(0，0，1)^T．
对λ=7，由(7E-A₁)x=0 得 α₂=(1，1，0)^T．
对λ=-3，由(-3E-A₁)x=0 得 α₃=(1，-1，0)^T．
不同特征值的特征向量已正交，故只需单位化，有
[*]
那么，令[*]
则经x=Py，有[*]

解析：

[*]