参考答案：[解]
[*]
[*]
即经坐标变换x=Cy其中[*]
有
[*]
[*]
得矩阵B_A有特征值为：AA，0，0．
解方程组(AAE-B_A)x=0得矩阵B_A对应于特征值λ=AA的特征向量为α_A=(A，-C，A)^T
解方程组(OE-B_A)X一0得矩阵B_A对应于特征值λ=0的特征向量为α_B=(C，A，0)^T,α_C=(-A，0，A)_T
对α_B，α_C正交化，有
[*]
再单位化，有
[*]
[*]
[*]
(Ⅲ)令P=CQ，则P可逆，且
P^TAP=(CQ)^TA(CQ)=Q^T(C^TAC)Q=Q^TEQ=E
[*]

解析：[评注] 对于两个对称矩阵A和B，如果A是正定矩阵，则有C^TAC=E(用配方法可求出可逆矩阵C)，因为C^TBC仍是对称矩阵，可用正交矩阵将其相似对角化，即Q^-1(C^TBC)Q=A
那么令p=CQ，则有
P^TAP=Q^T(C^TAC)Q=Q^TEQ=E
p^TBP=Q^-1(C^TBC)Q=A
即可用同一个可逆矩阵把A，B同时合同对角化．