Visual Studio: Diagnostic tools memory only increase but not decrease after usings or calling dispose methods

Столкнулся с интересным явлением в менеджере RestAPI при выполнении обработки файла который был передан через контроллер и нигде не сохранялся тобишь я на прямую открываю поток на чтение из IFormFile интерфейса утилита Diagnostic Tools показывает возрастание proccess memory казалось бы это нормально но вот на спад данная шкала не идет хотя в коде использованы USING также в ручную пробовал вызывать метод Dispose но толку 0 шкала так и показывает потребление в 300мб хотя при запуске приложения было использовано всего 160мб Тут я использовал ExcelDataReader (NugetPackage)

List<object> o = new List<object>();
                Encoding.RegisterProvider(CodePagesEncodingProvider.Instance);
            using (var stream = file.OpenReadStream())
                {
                    using (var reader = ExcelReaderFactory.CreateReader(stream))
                    {
                    do
                        {
                            while (reader.Read()) //Each ROW
                            {
                                for (int column = 0; column < reader.FieldCount; column++)
                                {
                                    //Console.WriteLine(reader.GetString(column));//Will blow up if the value is decimal etc. 
                                    o.Add(reader.GetValue(column));//Get Value returns object
                                }
                            }
                        } while (reader.NextResult()); //Move to NEXT SHEET
                    }
                }