Импорт больших данных из SQL в Neo4j
Имеется сервер SQL и сервер Neo4j.
В настоящий момент некоторый сценарий делает запросы в сервер SQL, получая данные в виде JSON. Далее полученные данные (коих очень много) бьются на пакеты и кладутся в RabbitMQ. С другой стороны самописный демон получает эти данные, сериализует и кладёт в Neo4j.
Импорт всех данных занимает около 5 часов. Сценарий загрузки запускается в час ночи. Перед началом загрузки данных данные в Neo4j полностью удаляются, что так же занимает очень много времени.
Как мне кажется, данный подход совершенно не продуктивный и вероятно есть решения куда лучше.
Однако другого решения на просторах интернета я не нашёл.
Прошу, подскажите