Помогите выбрать базу данных для большого анализа данных
Подскажите как решить задачу по поиску, агрегации данных в базах данных.
На достаточно мощном сервере есть база MySQL в ней несколько таблиц с наборами данных. Количество столбцов, название иногда повторяются, но зачастую разные.
Поиск и сравнение можно сделать по некоторым полям. Как делать SQL запросы я знаю.
Проблема в том, что в каждой таблице содержится до 100 миллионов записей. Хочу все свести в одну таблицу (из всех) дополняя записи по строке.
Но с таким объёмом MySQL не справляется, очень долго. Посоветуйте базу данных для выполнения данной задачи.
Ответы (1 шт):
Обратите внимание на колоночные СУБД, к примеру - Clickhouse, как раз заточены под агрегацию на огромных объемах и скоростях