Помогите выбрать базу данных для большого анализа данных

Подскажите как решить задачу по поиску, агрегации данных в базах данных.

На достаточно мощном сервере есть база MySQL в ней несколько таблиц с наборами данных. Количество столбцов, название иногда повторяются, но зачастую разные.

Поиск и сравнение можно сделать по некоторым полям. Как делать SQL запросы я знаю.

Проблема в том, что в каждой таблице содержится до 100 миллионов записей. Хочу все свести в одну таблицу (из всех) дополняя записи по строке.

Но с таким объёмом MySQL не справляется, очень долго. Посоветуйте базу данных для выполнения данной задачи.


Ответы (1 шт):

Автор решения: AlexanderSt

Обратите внимание на колоночные СУБД, к примеру - Clickhouse, как раз заточены под агрегацию на огромных объемах и скоростях

→ Ссылка