参考答案：根据假设条件，变换前后二次型的矩阼分别为
[*]
它们是(正交)相似的，于是|λE-A|=|λE-Λ|．将其展开得
λ²-3λ²-(a²+4b²-2)λ-4ab+a²+4b²=λ²-3λ²+2λ，
比较λ的同次幂系数得[*]解得a=b=0．
由于[*]，可求得A对应特征值λ₁=0，λ₂=1，λ₃=2的特征向量分别为
α₁=(-1，0，1)^T，α₂=(0，1，0)^T，α₃=(1，0，1)^T，
单位化得
[*]
故所求的正交变换为
[*]