PyTorch: Для бинарной функции активации работает ли градиентный спуск?

Возникла мысль, что для одной схемы сетки в одном специальном слое будет удобна бинарная функция активации. И возникает вопрос, будет ли такое работать для градиентного спуска, т.к. у бинарной функции производная почти везде равна нулю?

Например вот такое:

class MySpecLayer(nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = nn.Linear(10, 5)
    def forward(self, x):
        return (self.linear(x) > 0).float()

Т.е. возвращается ноль или один, и это значение дальшей пойдет в другой слой.