Нужно ли использовать предобученные модели сеток, если я хочу обрабатывать данные не похожие на что-либо?

Я хочу обучить и использовать нейронную сетку типа трансформер для оценки и ранжирования множеств - кусочки бинарных данных не похожих ни на текст ни на графику. Нужно ли для этого брать предобученные сетки, или нужно обучать с нуля свою? Есть ли смысл в этом случае в предобученности?