Ta có A và B là hai biến cố xung khắc nên \(P(A \cup B)=P(A)+P(B)\).

Số phần tử của không gian mẫu \(n(\Omega)=C_{20}^{3}\).

Gọi \(A\) là biến cố " 3 đỉnh lấy được tạo thành một tam giác vuông sao cho không có cạnh nào là cạnh của \((H)\) ".

Để ba đỉnh được chọn tạo thành tam giác vuông sao cho không có cạnh nào là cạnh của \((H)\) thì hai trong ba đỉnh được chọn là hai đầu mút của một đường kính của đường tròn ngoại tiếp đa giác đều \((H)\) và đỉnh còn lại là một trong số các đỉnh còn lại của đa giác không kề với hai đỉnh đã chọn.

Đa giác có 20 đỉnh nên có 10 đường kính.

Số đỉnh còn lại của đa giác mà không kề với hai đỉnh đã chọn là \(20-2-4=14\).

Suy ra \(n(A)=C_{10}^{1} \cdot C_{14}^{1} \Rightarrow P(A)=\frac{n(A)}{n(\Omega)}=\frac{C_{10}^{1} \cdot C_{14}^{1}}{C_{20}^{3}}=\frac{7}{57}\).

Gọi B là biến cố: " 3 đỉnh lấy được tạo thành một tam giác có đúng một cạnh là cạnh của đa giác \((H)\) ". Giả sử đa giác \(A_{1} A_{2} A_{3} \ldots A_{20}\).

Với cạnh \(A_{1} A_{2}\) ta có các tam giác là: \(A_{1} A_{2} A_{4}, A_{1} A_{2} A_{5}, \ldots, A_{1} A_{2} A_{19}\) có 16 tam giác có một cạnh là cạnh của đa giác.

Tương tự với 19 cạnh còn lại, mỗi cạnh đều lập được 16 tam giác có một cạnh là cạnh của đa giác.

Suy ra \(n(B)=16.20=320 \Rightarrow P(B)=\frac{n(B)}{n(\Omega)}=\frac{320}{C_{20}^{3}}=\frac{16}{57}\).

Do đó \(P(A \cup B)=P(A)+P(B)=\frac{23}{57} \Rightarrow\left\{\begin{array}{l}a=23 \\ b=57\end{array} \Rightarrow T=103\right.\)