(I)由已知等式 $\cos ^{2} A-\cos ^{2} B=\sqrt{3} \sin A \cos A-\sqrt{3} \sin B \cos B$,利用二倍角公式降幂及辅助角公式变形:
左边 $=\frac{1+\cos 2 A}{2}-\frac{1+\cos 2 B}{2}=\frac{1}{2}(\cos 2 A-\cos 2 B)$,
右边 $=\frac{\sqrt{3}}{2} \sin 2 A-\frac{\sqrt{3}}{2} \sin 2 B$。
整理得 $\frac{\sqrt{3}}{2} \sin 2 A-\frac{1}{2} \cos 2 A=\frac{\sqrt{3}}{2} \sin 2 B-\frac{1}{2} \cos 2 B$,
即 $\sin \left(2 A-\frac{\pi}{6}\right)=\sin \left(2 B-\frac{\pi}{6}\right)$。
因为 $a \neq b$,所以 $A \neq B$,故 $2 A-\frac{\pi}{6} \neq 2 B-\frac{\pi}{6}$。
又 $A, B \in(0, \pi)$,则 $2 A-\frac{\pi}{6}, 2 B-\frac{\pi}{6} \in\left(-\frac{\pi}{6}, \frac{11 \pi}{6}\right)$。
由正弦函数性质可知,两角之和为 $\pi$,即 $\left(2 A-\frac{\pi}{6}\right)+\left(2 B-\frac{\pi}{6}\right)=\pi$,
解得 $2(A+B)=\frac{4 \pi}{3}$,即 $A+B=\frac{2 \pi}{3}$。
所以 $C=\pi-(A+B)=\frac{\pi}{3}$。
(II)由正弦定理 $\frac{a}{\sin A}=\frac{c}{\sin C}$,
代入 $c=\sqrt{3}, \sin C=\frac{\sqrt{3}}{2}, \sin A=\frac{4}{5}$,
得 $a=\frac{c \sin A}{\sin C}=\frac{\sqrt{3} \times \frac{4}{5}}{\frac{\sqrt{3}}{2}}=\frac{8}{5}$。
因为 $a=\frac{8}{5}=1.6 < \sqrt{3} \approx 1.732=c$,所以 $A < C$。
又 $C=\frac{\pi}{3}$,故 $A$ 为锐角,
所以 $\cos A=\sqrt{1-\sin ^{2} A}=\sqrt{1-\left(\frac{4}{5}\right)^{2}}=\frac{3}{5}$。
$\sin B=\sin [\pi-(A+C)]=\sin (A+C)=\sin A \cos C+\cos A \sin C$
$=\frac{4}{5} \times \frac{1}{2}+\frac{3}{5} \times \frac{\sqrt{3}}{2}=\frac{4+3 \sqrt{3}}{10}$。
$\triangle ABC$ 的面积 $S=\frac{1}{2} a c \sin B=\frac{1}{2} \times \frac{8}{5} \times \sqrt{3} \times \frac{4+3 \sqrt{3}}{10}$
$=\frac{4 \sqrt{3}(4+3 \sqrt{3})}{50}=\frac{16 \sqrt{3}+36}{50}=\frac{8 \sqrt{3}+18}{25}$。