RecycleView восстанавливается удаленный элемент

Есть RecycleView. В нем реализовано добавление элементов по кнопке и удаление их по свайпу. Но при удалении элемента(ов), а потом добавлении новых, сначала добавляются удаленные, а потом новые. При этом удаленные никак не работают (не считается по ним сумма). Собственно код ниже:

override fun onSwiped(viewHolder: RecyclerView.ViewHolder, direction: Int) {
                when(direction) {
                    ItemTouchHelper.RIGHT -> {
                        val position = viewHolder.adapterPosition
                        val item = adapter.itemList[position]
                        adapter.itemList.remove(item)
                        adapter.notifyItemRemoved(position)
                        calculateTotalSum()
                        Snackbar.make(recyclerView, "Item was removed", Snackbar.LENGTH_LONG).apply {
                            setAction("Undo"){
                                adapter.itemList.add(position, item)
                                adapter.notifyItemInserted(position)
                                calculateTotalSum()
                            }
                        }.show()
                    }
                }
            }

и по кнопке добавляем новый элемент:

private fun addItem() {
        val item = Item(selectedWorkType, priceOfWorks, 0.0, 0.0)
        itemList.add(item)
        recyclerView.adapter?.notifyItemInserted(itemList.size-1)
        calculateTotalSum()
    }