Большой массив строчных данных

У меня имеются файл по 300 ГБ и более мне нужно сравнить их между собой и создать 3 файл в который будут добавлены все строки из остальных и добавлен 1 раз дубликат. Какими путями можно решить эту проблему используя Python.