（1）△ABC是直角三角形，理由如下：

将y=（x-2a）x-2b（x-a）+c²化简，整理得：y=x²-2（a+b）x+2ab+c²，

∵此函数图象的顶点在x轴上，

∴

4(2ab+c2)-4(a+b)2

4

=0，

整理，得a²+b²=c²，

∴△ABC是直角三角形；

（2）∵△ABC是直角三角形，∠C=90°，

∴∠A+∠B=90°，

∴sinB=cosA，

∴sinA、cosA是关于x的方程（m+5）x²-（2m-5）x+m-8=0的两个根，

∴

sinA+cosA= 2m-5 m+5 sinA•cosA= m-8 m+5

，

又∵sin²A+cos²A=1，

∴（sinA+cosA）²-2sinA•cosA=1，

∴（

2m-5

m+5

）²-2×

m-8

m+5

=1，

整理，得m²-24m+80=0，

解得m₁=20，m₂=4．

经检验，m₁=20，m₂=4都是原方程的根，

但是，当m₁=20时，sinA+cosA＞0，sinA•cosA＞0，

当m₂=4时，sinA+cosA＞0，sinA•cosA＜0，舍去，

∴m=20；

（3）∵△ABC的外接圆面积为25π，

∴外接圆半径R=5，

∴斜边c=10．

当m=20时，原方程变为25x²-35x+12=0，

解得x₁=

4

5

，x₂=

3

5

，

∴a=8，b=6．

设正方形的边长为x．

图1中，由EF：BC=AF：AC，得x：8=（6-x）：6，

解得x=

24

7

；

图2中，CH=

24

5

，

CK：CH=DG：AB，（

24

5

-x）：

24

5

=x：10，

解得x=

120

37

．

综上可知，△ABC的内接正方形（四个顶点都在三角形三边上）的边长为

24

7

或

120

37

．