Как забрать каждый элемент таблицы отдельно в bs4
у меня есть проблема с парсингом с помощью bs4, у меня задача спарсить сайт и вывести таблицу примерно такого образца: 
Таблицу построить я то смогу, только на сайте эти данные указаны в качестве таблицы, и мне их нужно разложить каждый элемент по отдельным переменным, что бы сформировать корректно таблицу, но я не могу понять как мне достать каждый элемент отдельно, что бы потом взаимодействовать с ним, это было бы просто сделать через xpath, но bs4 его не поддерживает, вот HTML код таблицы которую мне нужно вытянуть:
<div class="product-tabs-grid"><div class="product-tabs-grid__main"><div class="product-specifications"><div class="product-specifications-title">Основные</div> <table class="product-specifications-table"><tbody><tr><td><div class="product-specifications-table__value">
Бренд
</div></td> <td><b>
70mai </b></td></tr> <tr><td><div class="product-specifications-table__value">
Конструкция
</div></td> <td><b>
С камерой и экраном </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Режим записи <a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
Циклическая </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>GPS <a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
Нет </b></td></tr> <tr><td><div class="product-specifications-table__value">
ГЛОНАСС
</div></td> <td><b>
Нет </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Датчик движения (G-сенсор) <a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
Да </b></td></tr> <tr><td><div class="product-specifications-table__value">
Детектор движения в кадре
</div></td> <td><b>
Да </b></td></tr> <tr><td><div class="product-specifications-table__value">
Датчик звука
</div></td> <td><b>
Нет </b></td></tr> <tr><td><div class="product-specifications-table__value">
Радар-детектор
</div></td> <td><b>
Нет </b></td></tr> <tr><td><div class="product-specifications-table__value">
Встроенный микрофон
</div></td> <td><b>
Да </b></td></tr> <tr><td><div class="product-specifications-table__value">
Встроенный динамик
</div></td> <td><b>
Да </b></td></tr> <tr><td><div class="product-specifications-table__value">
Формат записи
</div></td> <td><b>
H.264 </b></td></tr> <tr><td><div class="product-specifications-table__value">
Крепление на присоске
</div></td> <td><b>
Нет </b></td></tr> <tr><td><div class="product-specifications-table__value">
Материал
</div></td> <td><b>
Пластик </b></td></tr> <tr><td><div class="product-specifications-table__value">
Цвет
</div></td> <td><b>
Черный </b></td></tr> <tr><td><div class="product-specifications-table__value">
Комплектация
</div></td> <td><b>
Автомобильное зарядное устройство, Документация, Кабель USB </b></td></tr> <tr><td><div class="product-specifications-table__value">
Дополнительно
</div></td> <td><b>
Wi-Fi </b></td></tr></tbody></table> <div class="product-specifications-title">Память</div> <table class="product-specifications-table"><tbody><tr><td><div class="product-specifications-table__value"><span>Поддержка карт памяти <a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
microSDHC, microSDXC, microSD </b></td></tr> <tr><td><div class="product-specifications-table__value">
Максимальный размер карты памяти
</div></td> <td><b>
64 ГБ </b></td></tr> <tr><td><div class="product-specifications-table__value">
Возможность установки жесткого диска
</div></td> <td><b>
Нет </b></td></tr></tbody></table> <div class="product-specifications-title">Экран</div> <table class="product-specifications-table"><tbody><tr><td><div class="product-specifications-table__value">
Экран
</div></td> <td><b>
Да </b></td></tr> <tr><td><div class="product-specifications-table__value">
Размер экрана
</div></td> <td><b>
2 " </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Сенсорный экран <a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
Нет </b></td></tr></tbody></table> <div class="product-specifications-title">Камера</div> <table class="product-specifications-table"><tbody><tr><td><div class="product-specifications-table__value">
Тип матрицы
</div></td> <td><b>
CMOS </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Максимальное разрешение видеозаписи <a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
1920x1080 </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Максимальная частота кадров <a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
30 к/с </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Угол обзора <a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
130 градусов
У меня есть код который может вывести то что мне нужно, но не в том формате в котором я хочу (Просто как массив элементов), помогите пожалуйста с моей задачей
def parse(url):
items_list = []
headers = {
"Accept": "*/*",
"User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1"}
req = requests.get(url = "https://5element.by/products/641981-videoregistrator-70mai-dash-cam-lite-midrive-d08", headers=headers)
src = req.text
soup = BeautifulSoup(src, "lxml")
items = soup.find_all(class_="product-specifications-table")
for item in items:
tr_item = item.find_all("tr")
for tr in tr_item:
info = tr.find_all("td")
name = info[1].getText()
items_list.append(name)
print(name.replace(" ", ''))
Ответы (1 шт):
Автор решения: CrazyElf
→ Ссылка
Таблицы если что удобно через Pandas обрабатывать, хотя тут много повторов получается, а самой модели при этом нет. Но так, в дополнение к основным методам:
import pandas as pd
import requests
headers = {
"Accept": "*/*",
"User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1"}
req = requests.get(url = "https://5element.by/products/641981-videoregistrator-70mai-dash-cam-lite-midrive-d08", headers=headers)
df = pd.concat(pd.read_html(req.content))
df
В df:
| index | 0 | 1 |
|---|---|---|
| 0 | Датчик движения (G-сенсор) | Да |
| 1 | Максимальное разрешение видеозаписи | 1920x1080 |
| 2 | Максимальная частота кадров | 30 к/с |
| 3 | Угол обзора | 130 градусов |
| 4 | Ночной режим | Да |
| 0 | Бренд | 70mai |
| 1 | Конструкция | С камерой и экраном |
| 2 | Режим записи | Циклическая |
| 3 | GPS | Нет |
| 4 | ГЛОНАСС | Нет |
| 5 | Датчик движения (G-сенсор) | Да |
| 6 | Детектор движения в кадре | Да |
| 7 | Датчик звука | Нет |
| 8 | Радар-детектор | Нет |
| 9 | Встроенный микрофон | Да |
| 10 | Встроенный динамик | Да |
| 11 | Формат записи | H.264 |
| 12 | Крепление на присоске | Нет |
| 13 | Материал | Пластик |
| 14 | Цвет | Черный |
| 15 | Комплектация | Автомобильное зарядное устройство, Документация, Кабель USB |
| 16 | Дополнительно | Wi-Fi |
| 0 | Поддержка карт памяти | microSDHC, microSDXC, microSD |
| 1 | Максимальный размер карты памяти | 64 ГБ |
| 2 | Возможность установки жесткого диска | Нет |
| 0 | Экран | Да |
| 1 | Размер экрана | 2 " |
| 2 | Сенсорный экран | Нет |
| 0 | Тип матрицы | CMOS |
| 1 | Максимальное разрешение видеозаписи | 1920x1080 |
| 2 | Максимальная частота кадров | 30 к/с |
| 3 | Угол обзора | 130 градусов |
| 4 | Ночной режим | Да |
| 5 | ИК-подсветка | Нет |
| 6 | Поворот камеры | Да |
| 0 | Количество каналов записи видео | 1 |
| 1 | Количество каналов записи звука | 1 |
| 2 | Выход HDMI | Нет |
| 3 | Подключение внешнего накопителя по USB | Нет |
| 0 | Питание | Автомобильный прикуриватель, Аккумулятор |
| 1 | Тип аккумулятора | Li-pol |
| 2 | Емкость аккумулятора | 500 мАч |
| 0 | Запись времени и даты | Да |
| 1 | Запись скорости | Нет |
| 2 | Автостарт записи | Да |
| 3 | Отключение микрофона | Да |
| 0 | Ширина | 58.2 мм |
| 1 | Высота | 82 мм |
| 2 | Толщина | 40.5 мм |
| 0 | Гарантия | 1 год |
| 1 | Срок службы | 1 год |
| 2 | Страна происхождения (производства) | Китай |