Уже скачанный объект для pandas read_csv
df = pd.read_csv(file_patch, sep='|')
прекрасно качает и парсит файл формата csv в dataframe. А как ему вскормить объект уже скачанный с помощью
import httpx
r = httpx.get('https://site.org/file.csv')
Например конкретно вот этот
Хочется скорости, по факту httpx.get .text.splitlines() в цикле разбрасывает файл в словарь раз в 10 быстрее чем pd.read_csv скачивает и парсит в dataframe...
Ответы (1 шт):
Автор решения: GreenX5
→ Ссылка
Кажется нашел.
import io
import httpx
import pandas as pd
res = httpx.get('https://site.org/file.csv')
df = pd.read_csv(io.StringIO(res.text), sep='|')
Это в 4-5 раз быстрее чем просто pd.read_csv('https://site.org/file.csv', sep='|') Но всё равно в 2 раза медленнее чем в словарь без Pandas...