Как правильно остановить BinaryReader ReadChar?

Имею такой код

using (var stream = await response.Content.ReadAsStreamAsync().ConfigureAwait(false))
using (var reader = new BinaryReader(stream, Encoding.UTF8))
using (cancellationToken.Register(() =>
{
    try { stream.Dispose(); }
    catch { }
}))
{
    while (true)
    {
        cancellationToken.ThrowIfCancellationRequested();

        var messageHeader = ReadMessageHeader(reader);
...
}

private static MessageHeader ReadMessageHeader(BinaryReader streamReader)
{
    var messageHeader = new MessageHeader();

    while (true)
    {
        var line = streamReader.ReadLine();
...
}

public static string ReadLine(this BinaryReader reader)
{
    var result = new StringBuilder();
    bool foundEndOfLine = false;
    char ch;
    while (!foundEndOfLine)
    {
        try
        {
            ch = reader.ReadChar();
...
}

Насколько я понимаю, кусок кода

using (cancellationToken.Register(() =>
{
    try { stream.Dispose(); }
    catch { }
}))

сделан именно для того, чтобы грохнуть поток и закончить чтение, поскольку ReadChar() может находиться в состоянии ожидания, если данные в поток не поступают.

Проблема такого подхода в том, что бросается исключение IOException.

Если платформа NetFramework 4.8, то InnerExseption SocketErrorCode содержит в себе System.Net.Sockets.SocketError.Interrupted Не удается прочитать данные из транспортного соединения: Операция блокирования прервана вызовом WSACancelBlockingCall,

а на NET5 содержит System.Net.Sockets.SocketError.OperationAborted Программа на вашем хост-компьютере разорвала установленное подключение

Как правильно остановить процесс чтения из потока?