Удаление дублей в заданном слове (игнорируя список)

если коротко: cat file.txt | python3 script.py | sort -u ждет пока все строки в file.txt закончатся. А мне нужно что бы удаляло дубли только из вариаций что сгенерировались из первой строки и начинала по новой только уже второй строкой из файла и так далее

собственно есть предложение допустим из 10-30 слов в одной строке и так много строк(предложений разных)я беру их из файла:

import sys
for line in sys.stdin:
  s = (line.rstrip('\n'))
  for nom in range(0,100):
   a = s[:-nom]
   print(a)

   for nom1 in range(0,50):
    aa = s[nom1:]
    print(aa)

я беру скрипт и первому предложению удаляю по 1,2,..100(задаю сколько удалить) символов в конце

получается типа
Саша шла по шоссе, она хотела скушать сушку
Саша шла по шоссе, она хотела скушать сушк
Саша шла по шоссе, она хотела скушать суш
аша шла по шоссе, она хотела скушать сушку
аша шла по шоссе, она хотела скушать суш...
...

и нужно как то удалить дубли и вывести в print именно этой строки которая сейчас обрабатывалась "Саша шла по шоссе, она хотела скушать сушку"

дело в том что если брать просто удаление дублей после работы то оно ждет пока все строки пройдет и потом массово их сортирует,удаляет. а мне нужно что бы налету ( в мере заданной строки, и так с каждым предложением (строкой) не сравнивая(удаляя дубли) с предыдущей)

как? помогите пожалуйста