A seconda della diversa tecnica di codifica del flusso video, i codec video si dividono in due grandi famiglie: a codifica intraframe e a codifica interframe.

La codifica intraframe contraddistingue i codec che codificano e decodificano un flusso video descrivendo ogni singolo fotogramma che compone la sequenza video, rispettando quindi un approccio tradizionale alla quantizzazione video come sequenza di immagini statiche.

Nella codifica interframe invece i codec video si occupano di descrivere i cambiamenti che occorrono tra un fotogramma ed il successivo partendo da un fotogramma iniziale descritto con codifica intraframe e seguendo un approccio più innovativo alla quantizzazione video allo scopo di migliorarne l'efficienza sfruttando la capacità dei sistemi di riproduzione moderni in grado di elaborare l'informazione per poi mostrarne il risultato.

La diversa dinamica dei due approcci fa sì che la codifica intraframe risulti più adatta alla riproduzione di sequenze video particolarmente movimentate; descrivendo ogni singolo fotogramma, infatti, un codec a codifica intraframe potrà degradare la qualità delle singole immagini all'aumentare del rapporto di compressione, ma tenderà comunque a lasciare inalterata la dinamica del movimento.

I codec a codifica interframe risultano invece meno adatti alla codifica di sequenze movimentate per le quali necessitano di descrivere grossi cambiamenti tra i fotogrammi. Al contrario, in sequenze video statiche, ovvero con pochi elementi che cambiano nella scena, la codifica interframe risulta di notevole efficienza.