study_express/3-qula/01-app.js

/**
 * 带下载小说
 * https://www.qu.la/book/16431/    一念永恒
 * https://www.qu.la/book/513/      仙路争锋
 * https://www.qu.la/book/365/      武动乾坤
 */
const puppeteer = require('puppeteer');
const fs = require("fs");
(async () => {
  const browser = await puppeteer.launch({
    headless: false, //默认为true（无头），不显示浏览器界面
    slowMo: 200, //减速显示，有时会作为模拟人操作特意减速
    devtools: true //显示开发者工具。页面宽高默认800*600,把开发者工具显示再隐藏页面会占满屏幕，有没有大佬解释下？
  });
  /**
   * document.querySelector('.liebiao').children[0].children[0].children[0].getAttribute('href')
   * document.querySelector('.liebiao').children[0].children[0].innerText
   */
    //生成Page对象
    //const page = await browser.newPage();//官网写法：一打开浏览器会打开两个tab，第二个才是你正在操作的tab
  const page = (await browser.pages())[0]; //这是我的写法，只有一个tab
  await page.goto('https://www.qu.la/book/168/'); //跳转到掘金
  
  //请开始你的表演...
  const result = await page.evaluate(() => {
    
    return new Promise(resolve => {
      let $titles = document.getElementById('list').getElementsByTagName('dd');
      let titles = [];
      let index = 0;
      const len = $titles.length;
      const interval = setInterval(() => {
        if (index === len) {
          resolve(titles);
          clearInterval(interval);
          return;
        }
        console.log($titles[index].children[0].innerText);
        titles.push({
          href: `https://www.qu.la${$titles[index].children[0].getAttribute('href')}`,
          title: $titles[index].children[0].innerText,
          index: index + 1
        });
        index += 1;
      }, 100);
    });
    
    
  });
  // await browser.close(); //关闭浏览器
  console.log('over');
  fs.writeFileSync('./xindaming.js', 'module.exports =' + JSON.stringify(result));
})();