Lời giải:
Áp dụng BĐT Cauchy-Schwarz:

\(A^2=\left ( \frac{1}{\sqrt{x+y+1}}+\frac{1}{\sqrt{y+z+1}+\frac{1}{\sqrt{z+x+1}}} \right )^2\leq (1+1+1)\left(\frac{1}{x+y+1}+\frac{1}{y+z+1}+\frac{1}{z+x+1}\right)\)

\(\Leftrightarrow A^2\leq 3\underbrace{\left(\frac{1}{x+y+1}+\frac{1}{y+z+1}+\frac{1}{z+x+1}\right)}_{M}\) \((1)\)

Xét M

Do $xyz=1$ nên tồn tại các số $a,b,c>0$ sao cho \((x,y,z)=\left(\frac{a^2}{bc},\frac{b^2}{ac},\frac{c^2}{ab}\right)\)

Khi đó \(M=\frac{abc}{a^3+b^3+abc}+\frac{abc}{b^3+c^3+abc}+\frac{abc}{c^3+a^3+abc}\)

Với \(a,b>0\) ta luôn có BĐT sau: \(a^3+b^3\geq ab(a+b)\)

BĐT này luôn đúng vì tương đương với \((a+b)(a-b)^2\geq 0\)

Do đó, \(a^3+b^3+abc\geq ab(a+b)+abc=ab(a+b+c)\)

\(\Rightarrow \frac{abc}{a^3+b^3+abc}\leq \frac{abc}{ab(a+b+c)}=\frac{c}{a+b+c}\)

Thiết lập tương tự với các phân thức còn lại suy ra

\(M\leq \frac{c}{a+b+c}+\frac{a}{a+b+c}+\frac{b}{a+b+c}=1\Rightarrow 3M\leq 3\) \((2)\)

Từ \((1),(2)\Rightarrow A^2\leq 3\Leftrightarrow A\leq \sqrt{3}\Rightarrow A_{\max}=\sqrt{3}\)

Dấu bằng xảy ra khi \(x=y=z=1\)