Как работать с таблицей превышающей объем оперативной памяти?
Есть таблица размерами (10 000 00 X 7) в формате txt около 2ГБ, памяти доступно 2ГБ. Вопрос как обрабатывать данные из таблице если не загружать ее полностью в оперативку. Так же предстоит работать с таблицами весом 30Гб+ на 100млн+ строк. Работаю с помощью Python + pandas.
Ответы (1 шт):
Автор решения: eri
→ Ссылка
Читайте построчно. Постройте индекс по какому смещению (seek) искать нужные строчки