参考答案：由AB=O即知B中三个列向量均为A的属于零特征值的特征向量．
事实上，设B=[α₁，α₂，α₃]，则Aα_i=0(i=1，2，3)．显然α₁，α₂线性无关，且α₃-α₁+α₂，故λ₁=0至少是二重特征值．又因

故λ₁=λ₂=0，λ₃=2．设对应于λ₃=2的特征向量为
β₃=[x₁，x₂，x₃]^T，则α₁与β₃，α₂与β₃正交，于是有

由

知，该方程组的基础解系为
[-1/2，-1/2，1]^T
为方便计，取β₃=[1，1，-2]^T．
注意到α₁，α₂，α₃两两正交，只需单位化

，
则Q=[η₁，η₂，η₃]为正交矩阵，作正交变换X=QY，则
f=X^TAX=(QY)^TA(QT)=Y^T(Q^TAQ)y
=