Gọi \(H\) là hình chiếu của \(S\) lên mặt phẳng \((A B C D)\), vì \(S A=S B=S D\) nên \(H \in A O\) với \(O\) là trung điểm của \(B D\)

Ta xét hai tam giác \(S B D\) và \(A B D\) có cạnh \(B D\) chung, \(S B=A B, S D=A D\) nên \(\triangle S B D=\triangle A B D\) suy ra \(A O=S O=O C\) do đó \(\triangle S A C\) vuông tại \(S\).

Ta có \(A O=\frac{1}{2} A C=\frac{1}{2} \sqrt{1+x^{2}} \Rightarrow B O=\frac{\sqrt{3-x^{2}}}{2} \Rightarrow S_{A B C D}=\frac{\sqrt{\left(1+x^{2}\right)\left(3-x^{2}\right)}}{2}(0\lt x\lt \sqrt{3})\)

Mặt khác \(S H=\frac{S A . S C}{\sqrt{S A^{2}+S C^{2}}}=\frac{x}{\sqrt{1+x^{2}}}\)

Vậy \(V_{S \cdot A B C D}=\frac{1}{3} S H \cdot S_{A B C D}=\frac{\sqrt{x^{2}\left(3-x^{2}\right)}}{6} \leq \frac{1}{4}\).

Thể tích khối chóp \(S . A B C D\) lớn nhất khi và chỉ khi \(x^{2}=3-x^{2} \Leftrightarrow x=\frac{\sqrt{6}}{2}\).

Vậy \(\left\{\begin{array}{l}a=6 \\ b=2\end{array}\right.\). Suy ra \(a^{2}-8 b=20\).