Поиск по нескольким селекторам через библиотеку puppeteer

Question

Использую puppeteer для того, чтобы получить данные о работе магазина. Поиск осуществляю по селекторам p.shop-page-content__text_large, span.shop-list-item__address но с талкнулся с такой проблемой, что на странице может присутсвовать только один из них. Проблему попытался решить ниже приведённым способом, но так не работает. Подскажите, как это можно исправить?

const puppeteer = require('puppeteer');

const browser = await puppeteer.launch({
    headless: false,
    slowMo: 150,
});

const cities = [{'CITY': 'Town1', 'LINK': '/shops/town1/'}, {'CITY': 'Town2', 'LINK': '/shops/town2/'}];

async function getData(page, selector) {
    return await page.$$eval(selector, info => info.map((data) => {
        let str     = data.textContent.trim(),
            from    = str.search(','),
            to      = str.length;
    
        return {
            'COUNTRY': 'Ru',
            'STREET' : str.substring(from, to)
        }
    }));
}

const result = [];

for (let val of cities) {
    console.log(val.LINK, val.CITY);

    const page = await browser.newPage();
    await page.goto('https://www.example-site.ru' + val.LINK);

    data = await page.waitForFunction('.shop-page-content').then(async() => {
        console.log('ok');
        return await getData(page, 'p.shop-page-content__text_large');
    }).catch(async (e) => {
        console.log('fail');
        
        await page.waitForSelector('.shops-info__section');
        return await getData(page, 'span.shop-list-item__address');
        // result.push(data);
    });

    result.push(data);
    await browser.close();
}

console.log(result);

Answer 1

Если я правильно понял проблему, попробуйте как-то так:

let selector = `p.shop-page-content__text_large`
let elems = page.$$(selector)
if (!elems.length) {
selector = `span.shop-list-item__address`
elems = page.$$(selector)
}
elems.forEach(()=>{
... some code
})

Answer 2

В итоговой форме получилось вот так:

const browser = await puppeteer.launch({
    headless: false,
    slowMo: 150,
});
const cities = [{'CITY': 'Town1', 'LINK': '/shops/town1/'}, {'CITY': 'Town2', 'LINK': '/shops/town2/'}];
const page   = await browser.newPage();
const result = [];

for (let val of cities) {
    await page.goto('https://www.example-site.ru' + val.LINK);

    const list = await page.evaluate(() => {
        const data     = []; 
        const elements = document.querySelectorAll('p.shop-page-content__text_large').length 
                        ? document.querySelectorAll('p.shop-page-content__text_large')
                        : document.querySelectorAll('span.shop-list-item__address'); 

        for (const element of elements) {
            data.push(element.innerText);
        }

        return data;
    });

    result.push({
        link: val.LINK,
        city: val.CITY,
        list
    })
}

await browser.close();

БЛОГ НА HUSL

Поиск по нескольким селекторам через библиотеку puppeteer

Ответы (2 шт):