Wektorami rzadkimi nazywamy wektory o dużej ilości zer. Innymi słowy to takie wektory, w których liczba elementów niezerowych jest mała w porównaniu z ich rozmiarami. Są one najczęściej zapisywane w specjalnej postaci: wektora porządku oraz wektora wartości. Wektor porządku wskazuje, które współrzędne wektora rzadkiego przyjmują wartość różną od zera w następujący sposób: wystąpienie "1" w wektorze porządku oznacza, ze na odpowiadającej mu pozycji wektora współrzędna przyjmuje wartość różną od zera, natomiast wystąpienie "0" oznacza, ze współrzędna przyjmuje wartość zero. Wektor wartości jest wektorem niezerowych współrzędnych wektora.
Przykładem wektora rzadkiego jest wektor ![[2, 0, 0, -3, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0] \,](http://upload.wikimedia.org/math/5/b/e/5be4e0caa9f096664da30034db615cf1.png)
.