いつも1.6倍速で見ているから

Audio encoder delay question [Archive] - Doom9's Forum

Values for encoder delay (priming) so far are :-
iTunes / QuickTime: 2112
faac: 1024
Nero: 2624
Lame CBR : 1105
Lame VBR : 2257

Suggested decoder behaviour so far :-
faad: trims 1024 priming samples when decoding.
ffaac(libavcodec): trims nothing.

自分でエンコードした動画を等倍で再生することがほとんどなかった所為・・・かどうかわかりませんが、実は音ズレしていることに気が付きました。

いや、確かに何となく違和感を覚えたことはあったのですが、一番最初に作った時(分離したaacにdelay値を反映させただけ)には、ずれていないのを確認したので・・・。
その後、二重音声→ステレオ→二重音声と音声が切り替わるものの対応でデコード→再エンコードという工程を増やした結果、上記の情報通りずれていました。

そして、某まっしろアニメのEDを見て、これはどうもおかしい、と気が付いて今に至ります。
・・・まぁ、とりあえず今後は直し、遡りはしない方向で。