Подскажите что надо знать и изучить, чтобы создать хороший, быстрый, универсальный поисковик на С/С++?

Думаю, что часть ответа на этот вопрос содержится в моём вопросе о web технологии, но есть и ряд не рассмотренных аспектов, в частности, где и какие надо изучить алгоритмы и процедуры опроса серверов, как обходить противодействие серверов на чтение с них информации, какие использовать протоколы и т.д. и т.п. Насколько эффективно использовать здесь нейронные сети и ИИ или проще обойтись без этого из-за сложности реализации, ну и т.д.? Что дополнительно надо знать, чтобы дополнить поисковик возможностью поиска и в Даркнете?