Почему при попытке зашифровать системный раздел на VeraCrypt неактивен флажок "Ключевые файлы"?

Потому что ключевой файл для системного диска невозможно использовать по техническим причинам. Ведь он или

а) тоже зашифрован, если на том же разделе,

или

б) отсутствует до загрузки системы, если на другом разделе.

Это примерно как запаролить архив и сохранить пароль к нему в нем самом. Без пароля не распакуешь, но чтобы получить пароль, нужно распаковать.