Как оставить только уникальные линии в текстовом файле?
Есть файл из несколько миллионов строк (линий), нужно удалить все дубликаты (если у нас 2 одинаковые строки, оставить только одну из них (порядок не важен))
Пример на массиве:
[1,6,2,3,4,5,6,5,6] -> [1,2,3,4,5,6]
Ответы (1 шт):
Автор решения: CrazyElf
→ Ссылка
Пример на псевдокоде:
- создаёте пустое множество
- открываете файл на чтение
- открываете новый файл на запись
- читаете файл построчно
- если строка уже есть во множестве, то переход к следующей строке
- иначе добавляете эту строку во множество и записываете её в новый файл
- закрываете файлы