как хранить терабайты данных в rest api на java
У меня есть большое количество данных и rest api. Эта апишка должна уметь загружать файл и отдавать его. Ну это понятно как сделать. Вопрос в том как и где хранить эти файлы. Локально их хранить на машине или на другом хосте ? по сути обработки как таковой и нет они просто раздаются как ресурс.У меня недостаточно опыта в разработке хотел бы узнать у старших коллег. Я сам думаю сделать так. Несколько жестких смонтировать в одну директорию и уже туда загружать файлы. И это решение мне кажется крайне сомнительным
Ответы (1 шт):
Это довольно известная проблема.
Если говорить о стоимости-то, как ни странно, ничего дешевле "домашнего хостинга" не придумано. Любое облако начинает стоить существенных денег, стОит только выйти за пределы типичного объема или типичных требований к процессору.
Технически сейчас любой провайдер интернета не может сделать ничего, чтобы запретить Вам раздавать контент с домашнего компа. Ну, по крайней мере, пока этот контент не нарушает закон явно. Иначе- полетят абузы, и Вас довольно быстро могут отключить.
Правда, провайдеры вертятся, как уж на сковородке, и сейчас у домашнего хостинга есть следующие проблемы:
ограниченная полоса канала на отдачу. Около 100-200 мегабит. На тарифах с большей пропускной способностью, как правило, есть ограничения по трафику
серый ip или белый, но динамический. Это проблема, решается либо покупкой выделенного ip, либо динамическим dns- в общем, нужно думать уже в каждом конкретном случае.
блокировки портов 80, 443 и т.п., привычных для размещения сайта. Я не зря написал "привычных": в принципе, сайт будет работать и на других портах. Это можно решить так: в облаке находятся легковесные странички, а ссылки на сами файлы ведут уже на домашний сервер.
Если Вы хотите вникнуть в тему поподробнее-я бы начал с dns-серверов и с настройки nginx . Мне кажется, если эти две темы немного "покопать" - то ясности, подходит ли размещение на домашнем хостинге файлов для Вашего проекта -станет намного больше.
Иногда, когда смотришь на цены чего то типа Авс глассир кажется, что это очень дёшево. Но не забывайте, что цены типа "1 цент за гигабайт" - это цены за хранение. Как только Вы захотите скачать эти данные из хранилища-ценник взлетит до небес. Вообще, взлет цен до небес-это фирменная черта облачных решений Амазона.
Задавайте вопросы в комментариях, постараюсь ответить!