Bước 1 — Chọn hệ trục tọa độ (tọa độ hóa).
Đặt $A$ làm gốc, ba cạnh $AB, AD, AA'$ theo ba trục $Ox, Oy, Oz$, cạnh hình lập phương bằng $1$. Khi đó
$A(0;0;0),\ B(1;0;0),\ C(1;1;0),\ D(0;1;0),$
$A'(0;0;1),\ B'(1;0;1),\ C'(1;1;1),\ D'(0;1;1).$
Bước 2 — Tọa độ hai vectơ.
$\vec{AC} = (1; 1; 0),\ \vec{BA'} = (-1; 0; 1).$
Bước 3 — Tích vô hướng và độ dài.
$\vec{AC} \cdot \vec{BA'} = - 1 + 10 + 01 = -1.$
$\left|\vec{AC}\right| = \sqrt{2},\ \left|\vec{BA'}\right| = \sqrt{2}.$
Bước 4 — Cosin của góc (giữ nguyên dấu).
$\cos\left(\vec{AC}, \vec{BA'}\right) = \dfrac{\vec{AC} \cdot \vec{BA'}}{\left|\vec{AC}\right|\left|\vec{BA'}\right|} = - \dfrac{1}{2}.$
Dấu của tích vô hướng quyết định góc nhọn hay tù — không lấy trị tuyệt đối.
Kết luận: $\left(\vec{AC}, \vec{BA'}\right) = 120^\circ$ và $\cos\left(\vec{AC}, \vec{BA'}\right) = - \dfrac{1}{2}.$