（1）方程有两个实数根，则m²-1≠0，

解方程得x1=

6

m+1

，x2=

3

m-1

．由题意，得

m+1=1，2，3，6 m-1=1，3

即

m=0，1，2，5 m=2，4.

故m=2．

（2）把m=2代入两等式，化简得a²-4a+2=0，b²-4b+2=0，

当a=b时，a=b=2±

2

．

当a≠b时，a、b是方程x²-4x+2=0的两根，而△＞0，

由韦达定理得，a+b=4＞0，ab=2＞0，则a＞0、b＞0．

①a≠b，c=2

3

时，由于a²+b²=（a+b）²-2ab=16-4=12=c²

故△ABC为直角三角形，且∠C=90°，S_△ABC=

1

2

ab=1．

②a=b=2-

2

，c=2

3

时，因2(2-

2

)＜2

3

，

故不能构成三角形，不合题意，舍去．

③a=b=2+

2

，c=2

3

时，因2(2+

2

)＞2

3

，故能构成三角形．

S_△ABC=

1

2

×2

3

×

(2+ 2 )2-( 3 )2

=

9+12 2

综上，△ABC的面积为1或

9+12 2

．