Chọn hệ trục tọa độ \(O x y z\) như hình vẽ.

Đặt \(S O=m,(m\gt 0)\).\(A\left(\frac{a \sqrt{2}}{2} ; 0 ; 0\right) ; S(0 ; 0 ; m) ; N\left(-\frac{a \sqrt{2}}{4} ; \frac{a \sqrt{2}}{4} ; 0\right) \Rightarrow M\left(\frac{a \sqrt{2}}{4} ; 0 ; \frac{m}{2}\right)\).\(\Rightarrow \overrightarrow{M N}=\left(-\frac{a \sqrt{2}}{2} ; \frac{a \sqrt{2}}{4} ;-\frac{m}{2}\right)\).

Mặt phẳng \((A B C D)\) có véc tơ pháp tuyến \(\vec{k}=(0 ; 0 ; 1)\).\(\Rightarrow \sin (M N,(A B C D))=\frac{|\overrightarrow{M N} \cdot \vec{k}|}{|\overrightarrow{M N}| \vec{k} \mid}=\frac{\frac{m}{2}}{\sqrt{\frac{5 a^{2}}{8}+\frac{m^{2}}{4}}}=\frac{\sqrt{3}}{2} \Leftrightarrow m^{2}=\frac{15 a^{2}}{8}+\frac{3 m^{2}}{4}\).\(\Rightarrow 2 m^{2}=15 a^{2} \Rightarrow m=\frac{a \sqrt{30}}{2}\)\(\Rightarrow \overrightarrow{M N}=\left(-\frac{a \sqrt{2}}{2} ; \frac{a \sqrt{2}}{4} ;-\frac{a \sqrt{30}}{4}\right)\), mặt phẳng \((S B D)\) có véc tơ pháp tuyến là \(\vec{i}=(1 ; 0 ; 0)\).\(\Rightarrow \sin (M N,(S B D))=\frac{|\overrightarrow{M N}|}{|\overrightarrow{M N}||i|}=\frac{\frac{a \sqrt{2}}{2}}{\sqrt{\frac{a^{2}}{2}+\frac{a^{2}}{8}+\frac{30 a^{2}}{16}}}=\frac{\sqrt{5}}{5} \Rightarrow \cos (M N,(S B D))=\frac{2 \sqrt{5}}{5}\).