Как заменить строки со специальными символами через re.sub()

Например такой код:

s = 'x^05x^1joi1'
re.sub('[x^0,^1]', '', s)

выдаёт '5joi' Убралась ещё последняя 1. Как сделать так, чтобы '^' не учитывался как специальный символ, а заменялась только строка '^1'?