Подгрузка моделей с пустыми отношениями

я делаю фильтрацию модели по отношению через with.

$query->with(['user' => function ($query) use ($filters) {
   ///Тут фильтрация
}]);

У каждой модели есть отношение user, мне просто нужно отфильтровать эти модели и выбрать из них те, у которых это отношение проходит фильтр. Если оставить так, то выведутся все модели, просто у некоторых будет user => null в подгруженном отношении (relations). Мне же нужно чтобы такие модели не подгружались, если делать has(), то он делает запрос на существование прикрепленного user к этой модели, но он всегда будет существовать, поэтому это никак не помогает убрать такие модели из подгрузки. Как можно решить эту проблему?