参考答案：[解] 由于A～B，有
[*]
解出
a=-A，b=A．
[*]
由 (E-A)x=0 得特征向量α_A=(A,0,0)^T，
(BE-A)x=0 得特征向量α_B=(A,A,0)^T，
(-E-A)x=0 得特征向量α_C=(C,-B,B)^T．
[*]
由 (E-B)x=0 得特征向量β_A=(0,A,A)^T
(BE-B)x=0 得特征向量β_B=(A,B,A)^T
(-E-B)x=0 得特征向量β_C=(0,0,A)^T
那么令P_A=(α_A,α_B,α_C)，P_B=(β_A,β_B,β_C)则有
[*]
因此，当
[*]

解析：[评注] (1)要会用复合的方法求可逆矩阵P．
(2)若A～A，则p^-1AP=A中的矩阵P是A的特征向量，而P^-1AP=B≠Λ时，矩阵P不是A的特征向量．
(3)因为相似矩阵有相同的特征值，由于A，B均是三角矩阵，易知矩阵A的特征值为1，2，a，矩阵B的特征值为2，b，-1，赤可立即求出a=-1，b=1．