Как работает GUI?

Я хочу уточнить перавильно ли я понимаю, что X11 (В Windows Win32) - это программы в системе которые занимаются отрисовкой интерфейса и всего GUI, и они предоставляют некое API для взаимодействия, у X11 оно минимально, создать окно и парочку мелочей и поэтому есть такие библиотеки как GTK, Qt и прочие которые содержат в себе готовые элменты как кнопки, списки и другие, а в случае с Win32 - там это уже встроено. Я же правильно понимаю? А такие штуки как OpenGl, Vulkan, DirectX - обеспечивают работу с видеокартой для того что бы X11, Win32 и другие могли рисовать интерфейс? И что бы не использовать никакие сторонние библиотеки и т.п., то придётся написать свою программу для взаимодействия с видеокартой на низком уровне, свою оконную систему, написать апи что бы можно было с ней взаимодействовать и только потом смочь писать какую ту gui программу, я же правильно понимаю? Извините если из выше описанного есть что-то глупое и т.п., я просто хочу понять как всё устроено и буду благодарен за ответы. Я просто не люблю использовать библиотеки и разного рода "готовые решения" если я не понимаю хотя бы как они работают.