Как сделать, чтобы при нажатии на кнопку в графическом интерфейсе программа открывала следующую программу и закрывалась

PyQt5 и os никогда не ссорились.
Из опубликованного вами кода, я понял, что вам надо создать блиц-опрос.

Один из возможных вариантов - использовать класс QWizard.

QWizard - это особый тип диалогового окна ввода, состоящего из последовательности страниц. Задача wizard's - шаг за шагом провести пользователя через процесс.

import sys
#import os
import random
from PyQt5 import QtCore, QtGui, QtWidgets
from PyQt5.Qt import *


class Wizard(QWizard):
    finished = pyqtSignal(list)

    def __init__(self, titles, datas, parent=None):
        super(Wizard, self).__init__(parent)
        self.parent = parent
        self.setStyleSheet(('font:50 12pt "MS Shell Dlg 2";'))

        self.groups = []
        for title, options in zip(titles, datas):
            page, group = Wizard.create_page(title, options)
            self.addPage(page)
            self.groups.append(group)

        self.button(QWizard.FinishButton).clicked.connect(self.on_finished)
        self._results = []

    @property
    def results(self):
        self.get_options()
        return self._results

    def get_options(self):
        self._results = []
        for group in self.groups:
            button = group.checkedButton()
            if button is not None:
                self._results.append(button.text())
            else:
                self._results.append(None)                

    @pyqtSlot()
    def on_finished(self):
        self.parent.show()
        self.finished.emit(self.results)
        self.hide()

    @staticmethod
    def create_page(title, options):
        page = QWizardPage()
        group = QButtonGroup(page)
        page.setTitle(f'<h3>{title}</h3>')
        page.setSubTitle("Пожалуйста, выберите один из этих ответов.")
        layout = QVBoxLayout(page)
        for option in options:
            radiobutton = QRadioButton(text=option)
            group.addButton(radiobutton)
            layout.addWidget(radiobutton)
        return page, group


class Example(QWidget):
    def __init__(self):
        super().__init__()

        self.topics = [
            "История   ", 
            "Космос    ", 
            "Математика", 
            "Литература", 
            "География "
        ]
        
        self.lbl1 = QLabel('Привет! Вы попали на блиц-опрос по темам!', 
            alignment = Qt.AlignCenter)
        self.lbl1.setStyleSheet("font: 17pt \"Ubuntu\";")

        self.selectedTopic = None
        
        self.layout = QGridLayout(self)
        self.layout.addWidget(self.lbl1, 1, 1)
        
        self.buttonGroup = QButtonGroup() 
        for i, topic in enumerate(self.topics):
            rb = QRadioButton(topic)
            rb.setStyleSheet("font: 15pt \"Consolas\";")
            self.buttonGroup.addButton(rb, i)
            self.layout.addWidget(rb, i+2, 1, alignment = Qt.AlignCenter)
        self.buttonGroup.idClicked.connect(self.handleButtons)

        self.lbl2 = QLabel('Пожалуйста, выберите тему и нажмите кнопку `Начать опрос`',
            alignment = Qt.AlignCenter)
        self.lbl2.setStyleSheet("font-size: 12pt;")
        self.layout.addWidget(self.lbl2, i+3, 1)
        
        self.btnStart = QPushButton('Начать опрос')
        self.btnStart.setStyleSheet("font-size: 12pt;")
        self.btnStart.clicked.connect(self.start_survey)
        self.layout.addWidget(self.btnStart, i+4, 1, alignment = Qt.AlignCenter)
        
    def handleButtons(self, index):
        color = f'#{random.randint(0, 0xFFFFFF):06x}'
        for i in range(len(self.topics)):
            if i == index:
                self.buttonGroup.button(index).setStyleSheet(f'''
                    background: {color};
                    font: 15pt \"Consolas\";
                ''')
            else:
                self.buttonGroup.button(i).setStyleSheet(f'''
                    background: #f0f0f0;
                    font: 15pt \"Consolas\";
                ''')
            self.selectedTopic = self.topics[index]

    def start_survey(self):
        if not self.selectedTopic:
            msg = QMessageBox.information(
                self, 
                'Внимание', 
                'Вы не выбрали тему опроса.'
            )
            return
        
        if self.selectedTopic == "История   ":
            print(f'''
                {self.selectedTopic} - вам надо сформировать опросник 
                для этой темы. Смотрите как это сделано в разделе "Математика"
            ''')
            return
        elif self.selectedTopic == "Космос    ": 
            print(f'''
                {self.selectedTopic} - вам надо сформировать опросник 
                для этой темы. Смотрите как это сделано в разделе "Математика"
            ''')
            return
        elif self.selectedTopic == "Математика":
            title = [
                "Цифры, используемые в современной математике?", 
                "Как называется сотая часть числа?", 
                "Какой раздел математики греки называли «искусством чисел»?",
                "Что найдём, если расстояние разделим на скорость?",
            ]
            data = [
                ["Арабские", "Римские", "Обычные", "Русские"], 
                ["Сотня", "Процент", "Доля"], 
                ["Начала анализа", "Геометрия", "Арифметика", "Алгебра"],
                ["Работу", "Длину", "Скорость", "Время"],
                
            ]
            self.result = ["Арабские", "Процент", "Арифметика", "Время"]
            
        elif self.selectedTopic == "Литература":
            print(f'''
                {self.selectedTopic} - вам надо сформировать опросник 
                для этой темы. Смотрите как это сделано в разделе "Математика"
            ''')
            return
        elif self.selectedTopic == "География ": 
            print(f'''
                {self.selectedTopic} - вам надо сформировать опросник 
                для этой темы. Смотрите как это сделано в разделе "Математика"
            ''')
            return
            
        self.wizard = Wizard(title, data, self)
        self.wizard.finished.connect(self.wizard_finished)
        self.wizard.show()
        self.hide()
        
    def wizard_finished(self, results):
        text = ''
        for i, result in enumerate(results):
            if result is None:
                text = f'{text}Вы не ответили на {i+1}-й вопрос;\n'
        if text:
            text = f'{text}\n Попробуйте пройти опрос еще раз.'
            msg = QMessageBox.information(
                self, 
                'Внимание', 
                text
            )
            return 
            
        text = ''
        for i, result in enumerate(results):
            if result != self.result[i]:
                text = f'{text}Вы неправильно ответили на {i+1}-й вопрос. Ответ - {self.result[i]}\n'        
            
        if text:
            text = f'{text}\n Попробуйте пройти опрос еще раз.'
            msg = QMessageBox.information(
                self, 
                'Внимание', 
                text
            )
        else:
            msg = QMessageBox.information(
                self, 
                'Super!', 
                'Вы правильно ответили на все вопросы!'
            )       

    
if __name__ == '__main__':
    app = QApplication(sys.argv)
    ex = Example()
    ex.show()
    sys.exit(app.exec_())