Подскажите как правильно удалить дочерний элемент javascript/insertAdjacentHTML/removeChild

Суть в том, что при нажатии на кнопку появляется элемент посредством insertAdjacentHTML, при повторном нажатии элемент удаляется. На данный момент элемент добавляется и удаляется если на кнопки нажимать в последовательном порядке. Т.е. один раз нажал - список появился, второй раз нажал - список исчез, но если нажать на один элемент, потом на второй, потом снова на первый - элемент не удаляется, а если нажать на второй, то удалится

Код:

<button class="select" value="1" onclick="selectedList('${adress}')">

function selectedList(adress) {
if(event.currentTarget.value == 1){
    alert('1')
    event.currentTarget.parentNode.insertAdjacentHTML('beforeend', `<div class="modalWr"><li>${adress}</li><li>${adress}</li></div>`)
    event.currentTarget.value = 0
}
else{
    alert('0')
    event.currentTarget.value = 1
    event.currentTarget.parentNode.removeChild(document.querySelector('.modalWr'))
    event.remove()
}

}