Я пытаюсь создать fixture для базы данных, но при создании русские буквы заменяются на непонятные символы

Попробуйте указывать параметр ensure_ascii.
Если для ensure_ascii установлено значение true (по умолчанию), в выводе гарантированно будут экранированы все входящие символы, отличные от ASCII. Если параметр ensure_ascii имеет значение false, эти символы будут выводиться как есть.

with open("file_name.json", "w", encoding="utf-8") as file:
    json.dump(text, file, indent=4, ensure_ascii=False)