`{(x-y=2),(mx+3y=6):}`
`<=> {(3x-3y=6),(mx+3y=6):}`
`<=> {((m+3)x=12),(y=x-2):}`
`<=> {(x=12/(m+3)),(y=12/(m+3)-2):}`
`<=> {(x=12/(m+3)),(y=(6-2m)/(m+3)):}`
Để hệ pt đã cho có nghiệm duy nhất
`<=> 1/m \ne -1/3`
`<=> m \ne -3`
Để `x,y>0`
`=> m+3>0; 6-2m>0`
`<=> -3<m<3`
Lại có `x^2+y^2=100`
`<=> (x-y)^2+2xy=100`
`<=> 4+2xy=100`
`<=> xy=48`
Thay `x=12/(m+3)`; `y=(6-2m)/(m+3)` vào `xy=48` ta có:
`12/(m+3). (6-2m)/(m+3)=48`
`<=> (12(6-2m))/(m+3)^2=(48(m+3)^2)/(m+3)^2`
`=> 72-24m=48(m^2+6m+9)`
`<=> 72-24m=48m^2+288m+432`
`<=> 48m^2+312m+360=0`
`<=> 2m^2+13m+15=0`
`\Delta=13^2-4.15.2`
`\Delta=49>0`
Do `\Delta>0` nên pt có 2 nghiệm phân biệt
`m_1=(-13+\sqrt{49})/4=-3/2` (tm)
`m_2=(-13-\sqrt{49})/4=-5`(ktm)
Vậy `m=-3/2`