Mittels awk wird ein Array (!x) initialisiert und auf 0 gesetzt. Wird eine Zeile in der Datei 1x gefunden, wird der Zähler um 1 inkrementiert. Alle Zeilen mit einem Wert größer als 1 werden anschließend nicht ausgegeben.
# ganze Zeile prüfen
awk '!x[$0]++'
# die ersten 16 Zeichen
prüfen awk '!x[substr($0,1,16)]++'