(a+bi)³ = a³+3a²bi-3ab²-b³i = (a³-3ab²)+i (3a²b-b³)
所以(a+bi)³= 39-26i，|(a+bi)³|= 39²+26²=2197
由|(a+bi)|³=|(a+bi)³| 可得 |a+bi|= 13，也就是a²+b²=13

2楼说的对✓

2*左-3*右，然后解方程

齐次秒了

闲着，水一贴。
感觉楼主重点好像在消元上，下面求消元后方程。

a^2+b^2的值没想出简单方程，那就直接粗暴解方程。

考虑到经常粗心大意，就用matlab再计算了一下，下面是计算结果，用于验证。
f1=a^3-3*a*b^2-39
f2 =b^3-3*a^2*b-26
f3 =a^2+b^2
a_b_f1_f2_f3 =3.5365 - 0.0000i -0.7022 + 0.0000i 0 + 0.0000i 0 - 0.0000i 13.0000 - 0.0000i
a_b_f1_f2_f3 =-2.3764 + 0.0000i -2.7116 + 0.0000i 0 - 0.0000i -0.0000 - 0.0000i 13.0000 - 0.0000i
a_b_f1_f2_f3 = -1.1602 + 0.0000i 3.4138 + 0.0000i 0.0000 + 0.0000i 0.0000 + 0.0000i 13.0000 + 0.0000i
a_b_f1_f2_f3 = 0.5801 + 1.0047i -1.7069 - 2.9564i 0 - 0.0000i -0.0000 + 0.0000i -6.5000 +11.2583i
a_b_f1_f2_f3 = 1.1882 + 2.0580i 1.3558 + 2.3483i -0.0000 - 0.0000i -0.0000 -6.5000 +11.2583i
a_b_f1_f2_f3 = -1.7683 + 3.0627i 0.3511 - 0.6081i 0 0 - 0.0000i -6.5000 -11.2583i
a_b_f1_f2_f3 =-1.7683 - 3.0627i 0.3511 + 0.6081i 0 0 + 0.0000i -6.5000 +11.2583i
a_b_f1_f2_f3 =0.5801 - 1.0047i -1.7069 + 2.9564i 0 + 0.0000i -0.0000 - 0.0000i -6.5000 -11.2583i
a_b_f1_f2_f3 =1.1882 - 2.0580i 1.3558 - 2.3483i -0.0000 + 0.0000i -0.0000 -6.5000 -11.2583i

发一个python环境下求出的a^2+b^2值。

的确，这个恒等式是关键线索:
（a^3-3ab^2）^2+（b^3-3ba^2）^2=（a^2+b^2）^3

a³-3ab²＝39……①
b³-3a²b＝26……②
①+②＝（a+b）（a²+b²-4ab）＝65……③
a²+b²＝13……④
令a+b＝c ab＝d
③＝c（c²-6d）＝65……⑤
c²-2d＝13……⑥
2d＝c²-13代入5得到
2c³+39c-65＝0 c解出后d就解出来了，a b两未知数也解出来，但是这个三次方程解出需要三等分角或者说是虚数开三次方，这个三次方程无法用根式表达

怎样用分解因式，求出弄出a²+b²？

没有什么固定方法,主要是逐渐消元.
比如a^3-3*a*b^2=39可得到b^2=(a^3-39)/(3a)
再代入b^3-3a^2b=b(b^2-3a^2)=26可得到 b=-78a/(8a^3+39)
此时带回任意一个方程均可得到64a^9-1872a^6-41067a^3-59319=0,就是7楼的结果.
但此方程是可以分解为(4a^3-39a-39)(16a^6+156a^4-312a^3+1521a^2-1521a+1521)
后面的6次方程是无实数解的,所以a符合4a^3-39a-39=0,对应b=-a^2+3/2*a+13/2
类似b也满足4b^3-39b-26=0,对应a= -2/3*b^2+2/3*b+13/3