制作教程 陶泥制作教程
gaoyangw 2024-11-04 12:59 24 浏览 0 评论
前言：最近想学习node.js,突然在网上看到基于node的爬虫制作教程，所以简单学习了一下，把这篇文章分享给同样初学node.js的朋友。
思路：访问上述网站，通过chrome浏览器的network对网页内容分析，找到获取各个门店发型师的接口，对参数及返回数据进行分析，遍历所有门店的所有发型师，直到遍历完毕，同事将信息存储到本地。
步骤一：安装node.js
下载并安装node，此步骤比较简单就不详细解释了，有问题的可以直接问一下度娘。
步骤二：建立工程
1）打开dos命令条，cd进入想要创建项目的路径（我将此项目直接放在了E盘，以下皆以此路径为例）；
2）mkdir node （创建一个文件夹用来存放项目，我这里取名为node）；
3）cd 进入名为node的文件夹，并执行npm init初始化工程（期间会让填写一些信息，我是直接回车的）；
步骤三：创建爬取到的数据存放的文件夹
1）创建data文件夹用来存放发型师基本信息；
2）创建image文件夹用来存储发型师头像图片；
此时工程下文件如下：
步骤四：安装第三方依赖包（fs是内置模块，不需要单独安装）
1）npm install cheerio –save
2）npm install superagent –save
3）npm install async –save
4）npm install request –save
分别简单解释一下上面安装的依赖包：
cheerio：是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jQuery核心实现，则能够对请求结果进行解析，解析方式和jQuery的解析方式几乎完全相同；
superagent：能够实现主动发起get/post/delete等请求；
async：async模块是为了解决嵌套金字塔,和异步流程控制而生，由于nodejs是异步编程模型，有一些在同步编程中很容易做到的事情，现在却变得很麻烦。Async的流程控制就是为了简化这些操作；
request：有了这个模块，http请求变的超简单，Request使用简单，同时支持https和重定向；
步骤五：编写爬虫程序代码
打开hz.js，编写代码：
var superagent = require('superagent');步骤六：运行爬虫程序
输入node hz.js命令运行爬虫程序，效果图如下：
运行成功后，发型师基本信息以html文件的形式存储在data文件夹中，发型师头像图片存储在image文件夹下：
后记：到此一款基于node.js制作的简单爬虫就大功告成了，由于我也是初学者，好多地方也不是很理解，但好在是自己完成了，不足之处敬请谅解。
相关推荐
- 用AI软件在线批量查询快递动态，依关键字一键查指定单号
-
还在一个个复制粘贴快递单号？还在海量物流信息里找得眼花缭乱？首助编辑高手给你带来快递查询新姿势！AI加持的批量查询功能，不仅能同时追踪上百个快递动态，更能通过关键字一键锁定目标单号，就像给快递装了GP...
- 掌握Filter函数:轻松实现关键字模糊查找技巧
-
在工作中，我们需要根据某个关键字来查找相关的数据。比如，你想知道姓“李”的人员信息，或者姓“张”相关的信息。这时，我们就需要用到Excel中的模糊查询功能。...
- 关键字（关键字名词解释）
-
敬请老师批改。七律：普通人的命运或（命运）人生苦短命不同，有贫有富命多种。粗茶淡饭无痒痛，早鱼晚肉腹脂中。辛勤劳作身强健，空闲玩乐病多连。，...
- 装修网购省钱技巧，搜索“原产地+关键词”，能省好几万
-
砸锅卖铁买套房，谁能想到啊，后期装修如此烧钱，230万都不一定够。所以啊，装修买东西，能省则省，我推荐大家网购，比实体店便宜很多。不过大家网购注意技巧，搜索“产地+关键词”，这样既保证了价格便宜，而...
- Excel快速定位关键词所在行号列号，告别繁琐手动查找!
-
我是【桃大喵学习记】，欢迎大家关注哟~，每天为你分享职场办公软件使用技巧干货！——首发于微信号：桃大喵学习记今天跟大家分享的是在Excel中快速查找关键词所在行号列号，通过精妙的公式组合可以快速定位关...
- 亚马逊快速寻找关键词的方法（亚马逊怎么快速找关键词）
-
亚马逊写链接需要找到精准关键词，先找到8-10个同行链接的asin图2，图3，粘贴到集合链接搜索狂框内，图4，所有同行链接都出现在亚马逊前天界面，这时候直接把同行链接标题里面的精准关键词扣下来进行排列...
- 干货收藏!高考填报志愿要了解的16个关键词
-
2024年高考已落下帷幕，考生即将面临志愿填报。什么是批次录取控制分数线？什么是院校调档分数线？平行志愿和顺序志愿有什么区别？16个关键词帮你了解高考志愿填报，转存！@人民日报来源：上海发布...
- 标品必看，关键词抢位助手的玩法（抢注关键词）
-
但凡是一个标品，那你一定知道展现的位置直接影响点击率和转化率。...
- 这16个关键词，高考报志愿一定要了解!
-
2024年高考已落下帷幕考生即将面临志愿填报什么是批次录取控制分数线？什么是院校调档分数线？平行志愿和顺序志愿有什么区别？16个关键词了解高考志愿填报↓↓转自人民日报微博来源：沈阳日报...
- 在 Excel 表格中模糊查找关键字，简配高配方法都有了
-
很多同学会觉得Excel单个案例讲解有些碎片化，初学者未必能完全理解和掌握。不少同学都希望有一套完整的图文教学，从最基础的概念开始，一步步由简入繁、从入门到精通，系统化地讲解Excel的各个知...
- 找到自己人生的关键词（找到自己的人生价值）
-
找到自己人生基因上的东西，再专注他，放大他。人生不是庸庸碌碌的，如能在很早时就找到自己刻在骨子里的东西，那就是莫大的喜悦。人生的上半场是用来尝试，寻找的，人生中半场是用来找到自己的关键词，不要多一个足...
- 干货收藏!高考报志愿要了解的16个关键词
-
2024年高考已落下帷幕，考生即将面临志愿填报。什么是批次录取控制分数线？什么是院校调档分数线？平行志愿和顺序志愿有什么区别？16个关键词了解高考志愿填报！（人民日报）来源：河北新闻网...
- Excel多条件筛选别硬扛!FILTER函数3秒搞定N个关键字
-
今天咱们要攻克一个让无数据人头疼的难题：...
- 按关键字提取数据，学会方法很简单
-
小伙伴们好啊，今天咱们分享一个常见的数据提取问题——按关键字提取数据。...
- 告别熬夜整理!你的AI知识库该学会自己”觅食”了:关键词自动检索+资料归档+整理汇报
-
在信息爆炸的时代，整理和管理知识成为了一项艰巨的任务。本文将介绍如何利用AI技术，让知识库能够自动“觅食”，实现关键词自动检索、资料归档和整理汇报。之前分享过产品经理怎么用AI搭建你的专属知识库？（保...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- 网站建设 (107)
- 网站开发 (47)
- 网络推广哪个平台好 (47)
- 百度收录 (50)
- 搜索引擎排名优化 (49)
- 关键词优化工具 (51)
- 外贸网站建设 (56)
- seo整站优化吧 (50)
- 广州seo (47)
- 苏州网站建设 (59)
- 百度搜索推广 (61)
- 关键词优化公司 (51)
- 网页制作 (47)
- 广州网站建设 (48)
- 电商网站建设 (49)
- 百度站长平台 (48)
- 网站模板 (51)
- 厦门网站建设 (52)
- 百度快照推广 (51)
- 免费网页在线客服系统 (53)
- 雷神代刷网站推广 (53)
- 长尾关键词 (47)
- 手机网站建设 (53)
- 网站维护 (53)
- 网页制作教程 (66)