Как отделить touchmove по элементу от touchmove по документу?

Есть блок с sortable, с телефона если свайпнуть по блоку просто для скрола то он определяет что был touchmove и по документу и по блоку, как отделить логику? Чтобы например если пользователь просто скролит страницу то sortable не включался и скролл шел дальше, а если мы конкретно решили подвигать элементы в блоке то скролл не работал?