由

y=ax+b 3x2-y2=1

，

消去y得：（a²-3）x²+2abx+b²+1=0．

∵直线与双曲线交于A、B两点，

∴

a2-3≠0 △＞0

，解得a²＜3．

设A（x₁，y₁），B（x₂，y₂），

可得x₁+x₂=

2ab

3-a2

，x₁•x₂=

b2+1

a2-3

．

∴y₁•y₂=（ax₁+b）（ax₂+b）=a²x₁x₂+ab（x₁+x₂）+b²，

又∵以AB为直径的圆过原点，

∴

OA

⊥

OB

，得x₁x₂+y₁y₂=0，

由此可得x₁x₂+[a²x₁x₂+ab（x₁+x₂）+b²]=0，

即（1+a²）x₁x₂+ab（x₁+x₂）+b²=0，

可得：（1+a²）•

b2+1

a2-3

-ab•

2ab

3-a2

+b²=0，化简得：a²-2b²=-1．

因此，点P（a，b）的轨迹方程为x²-2y²=-1，即2y²-x²=1（x²＜3）．