a) \(m=4→x^2-2(4+1)x+4^2=0\\↔x^2-10x+16=0\\↔x^2-8x-2x+16=0\\↔(x^2-8x)-(2x-16)=0\\↔x(x-8)-2(x-8)=0\\↔(x-2)(x-8)=0\\↔\left[\begin{array}{1}x-2=0\\x-8=0\end{array}\right.\\↔\left[\begin{array}{1}x=2\\x=8\end{array}\right.\)

\(→S=\{2;8\}\) khi \(m=4\)

b) Ta có: \(a=1,b'=-(m+1),c=m^2\)

\(Δ'=b'^2-ac=[-(m+1)]^2-1.m^2=m^2+2m+1-m^2=2m+1\)

Để pt có hai nghiệm phân biệt

\(→Δ'=2m+1>0\\↔2m>-1\\↔m>-\dfrac{1}{2}\)

Theo Vi-ét:

\(\begin{cases}x_1+x_2=\dfrac{-b}{a}=2(m+1)\\x_1x_2=\dfrac{c}{a}=m^2\end{cases}\)

\(x_1^2+x_2^2=4\sqrt{x_1x_2}\\↔(x_1+x_2)^2-2x_1x_2=4\sqrt{x_1x_2}\\↔[2(m+1)]^2-2m^2=4\sqrt{m^2}\\↔4m^2+8m+4-2m^2=4|m|\\↔2m^2+8m+4=4|m|\)

TH1: \(m≥0→2m^2+8m+4=4m\\↔2m^2+4m+4=0\\↔m^2+2m+2=0\\↔m^2+2m+1+1=0\\↔(m+1)^2+1=0(vô\,\,lý)\)

\(→\) Pt vô nghiệm với \(m≥0\)

TH2: \(-\dfrac{1}{2}<m<0→2m^2+8m+4=-4m\\↔2m^2+12m+4=0\\↔m^2+6m+2=0(*)\\Δ'(*)=3^2-1.2=7>0\)

\(→\) Pt \( (*)\) có hai nghiệm phân biệt

\(m_1=-3+\sqrt 7\\m_2=-3-\sqrt 7\)

mà \(-\dfrac{1}{2}<m<0\)

\(m=-3+\sqrt 7\)

Vậy \(m=-3+\sqrt 7\) thì pt có hai nghiệm phân biệt thỏa mãn \(x_1^2+x_2^2=4\sqrt{x_1x_2}\)

`x^2-2(m+1)x+m^2=0`    `(1)`

`a)` Thay `m=4` vào phương trình `(1)` ta có:

`x^2-2(4+1)x+4^2=0`

`<=>x^2-10x+16=0`

`<=>x^2-2x-8x+16=0`

`<=>x(x-2)-8(x-2)=0`

`<=>(x-2)(x-8)=0`

`<=>` \(\left[ \begin{array}{l}x-2=0\\x-8=0\end{array} \right.\)`<=>` \(\left[ \begin{array}{l}x=2\\x=8\end{array} \right.\) 

Vậy khi `m=4` thì phương trình `(1)` có nghiệm `S={2;8}`

`b)` `Delta'=[-(m+1)]^2-m^2`

`=m^2+2m+1-m^2`

`=2m+1`

Để phương trình `(1)` có hai nghiệm phân biệt thì: `Delta'>0`

`<=>2m+1>0`

`<=>2m>` `-1`

`<=>m>` `-1/2`

Khi đó theo hệ thức Vi - ét ta có: $\begin{cases}x_1+x_2=2(m+1)(2)\\x_1.x_2=m^2(3)\end{cases}$

Theo đề bài: `x_1^2+x_2^2=4\sqrt{x_1x_2}`

`<=>(x_1+x_2)^2-2x_1x_2=4\sqrt{x_1x_2}`  `(4)`

Thay `(2)` và `(3)` vào `(4)` ta có:

`[2(m+1)]^2-2m^2=4\sqrt{m^2}`

`<=>4(m+1)^2-2m^2=4|m|`

`<=>4(m^2+2m+1)-2m^2=4|m|`

`<=>4m^2+8m+4-2m^2=4|m|`

`<=>2m^2+8m+4=4|m|`

`+)` Trường hợp 1: Khi `m\geq0`

`2m^2+8m+4=4m`

`<=>2m^2+8m+4-4m=0`

`<=>2m^2+4m+4=0`

`<=>m^2+2m+2=0`

`Delta'=1^2-1.2=-1<0`

`=>` Phương trình vô nghiệm khi `m\geq0`

`+)` Trường hợp 2: Khi `0>m>` `-1/2`

`2m^2+8m+4=-4m`

`<=>2m^2+8m+4+4m=0`

`<=>2m^2+12m+4=0`

`<=>m^2+6m+2=0`

`Delta'=3^2-1.2=7>0`

Do đó phương trình có 2 nghiệm phân biệt

`m_1=-3+\sqrt{7}`   `text{(TMĐK)}`

`m_2=-3-\sqrt{7}`  `text{(KTMĐK)}`

Vậy `m=-3+\sqrt{7}` là giá trị cần tìm.