**(I)**
对已知等式 $\cos^2 A - \cos^2 B = \sqrt{3}\sin A\cos A - \sqrt{3}\sin B\cos B$ 进行变形。
左边利用降幂公式:$\cos^2 A - \cos^2 B = \dfrac{1+\cos 2A}{2} - \dfrac{1+\cos 2B}{2} = \dfrac{\cos 2A - \cos 2B}{2}$。
右边利用二倍角公式:$\sqrt{3}\sin A\cos A - \sqrt{3}\sin B\cos B = \dfrac{\sqrt{3}}{2}\sin 2A - \dfrac{\sqrt{3}}{2}\sin 2B$。
代入原等式并整理,将含 $A$ 的项移到一边、含 $B$ 的项移到另一边:
$$\frac{\sqrt{3}}{2}\sin 2A - \frac{1}{2}\cos 2A = \frac{\sqrt{3}}{2}\sin 2B - \frac{1}{2}\cos 2B$$
利用辅助角公式,两边分别化为:
$$\sin\left(2A - \frac{\pi}{6}\right) = \sin\left(2B - \frac{\pi}{6}\right)$$
因为 $a \neq b$,所以 $A \neq B$,即 $2A - \dfrac{\pi}{6} \neq 2B - \dfrac{\pi}{6}$。两个不相等的角的正弦值相等,则它们互补:
$$\left(2A - \frac{\pi}{6}\right) + \left(2B - \frac{\pi}{6}\right) = \pi$$
化简得 $2(A+B) = \pi + \dfrac{\pi}{3} = \dfrac{4\pi}{3}$,故 $A + B = \dfrac{2\pi}{3}$。
因此 $C = \pi - (A+B) = \dfrac{\pi}{3}$。
**(II)**
由正弦定理 $\dfrac{a}{\sin A} = \dfrac{c}{\sin C}$,代入 $c = \sqrt{3}$,$\sin A = \dfrac{4}{5}$,$\sin C = \sin\dfrac{\pi}{3} = \dfrac{\sqrt{3}}{2}$:
$$a = \frac{c \cdot \sin A}{\sin C} = \frac{\sqrt{3} \times \dfrac{4}{5}}{\dfrac{\sqrt{3}}{2}} = \frac{8}{5}$$
比较 $a$ 与 $c$:$a = \dfrac{8}{5} = 1.6 < \sqrt{3} \approx 1.732 = c$,故 $A < C = \dfrac{\pi}{3}$,即 $A$ 为锐角。
由此可得 $\cos A = \sqrt{1 - \sin^2 A} = \sqrt{1 - \dfrac{16}{25}} = \dfrac{3}{5}$。
计算 $\sin B$。由于 $B = \pi - (A+C)$,故 $\sin B = \sin(A+C)$:
$$\sin B = \sin A\cos C + \cos A\sin C = \frac{4}{5} \times \frac{1}{2} + \frac{3}{5} \times \frac{\sqrt{3}}{2} = \frac{4 + 3\sqrt{3}}{10}$$
三角形面积为:
$$S = \frac{1}{2}ac\sin B = \frac{1}{2} \times \frac{8}{5} \times \sqrt{3} \times \frac{4+3\sqrt{3}}{10} = \frac{4\sqrt{3}(4+3\sqrt{3})}{50} = \frac{16\sqrt{3}+36}{50} = \frac{18+8\sqrt{3}}{25}$$