Использование EF Core в сложной модели БД

Предположим, есть столбец X, который хранит Id разных моделей в зависимости от столбца Y.

Следовательно, навигационное свойство для X не имеет заранее определенного типа.

Как построить LINQ запрос для выполнения на стороне БД?

Хотелось бы как-то указать EF Core, что если Y в диапазоне 0..10, то должно подгружаться модель A в навигационное свойство X и т.д.

Таблица полиморфных моделей не подходит т.к. модели не должны быть наследованы.

ОБНОВЛЕНО:

Хочу использовать для хранения событий: получилось немного грязно, но работает. Если объект Event, который хранит инфо о событии и Id объекта на которым произошло событие, а в остальных моделях хранится Id последнего события. Вот пример запроса:

predicate = predicate.And(e => 
   dbContext.Videos.FirstOrDefault(v => v.Id == e.ObjectId) != null &&
   dbContext.Videos.FirstOrDefault(v => v.Id == e.ObjectId).Code == self.Code);