ForeSpider采集教程发布(论坛类):零基础轻松获取数据
haoteby 2024-11-21 15:48 9 浏览
本篇以360问答论坛为例：
一.网站结构
1.网站截图说明
某些网站需要登陆后才可进行内容的采集,登陆时需先对登陆信息输入位置进行定位,便于后续采集
2.采集结果截图
二.配置模板
1.新建任务
2.新建采集任务
本次采集列表下的正文数据，所以本次需要抽取内容选择【链接列表】,为了将每一页的内容都成功采集选择【普通翻页】
3.配置登陆
①内置浏览器找到登录按钮，弹出登录框
②先点击【用户名】
③如上图,对【用户名输入框】进行定位,crtl+左键点击【用户名输入框】的位置,直至被绿色框住代表定位成功,并按此方式完成的位置定位
④【用户名】和【密码】定位完成后,点击,cookie配置框中出现数据，按Ctrl+鼠标左键单击“登录按钮”，内置浏览器页面登录成功，配置完成
4.配置模板
①点击采集预览，在采集预览中有于目标链接相似的其他链接，可通过地址过滤得到列表链接。找到所需要的列表链接，观察得出所需要的目标链接都包含“thread-”
②勾选地址过滤，过滤规则选择包含，填入“thread-”
③勾选标题过滤,过滤规则选择包含,填入''下一页''
④点击采集预览,下一页和包含''thread-''的内容都被成功过滤,如下图:
5. 模板关联
根据网页跳转规律,将【链接列表】关联【链接列表:02】, 【普通翻页】关联【默认模板:01】,此处软件已自动进行了关联,如果配置时发现关联有问题,可自行进行更改
6.数据抽取
将模板一过滤得到的任意一条链接，作为链接列表模板的示例地址。如：https://bbs.360.cn/thread-15646770-1-1.html
7.新建数据抽取
新建数据抽取。直接点击链接列表，点击上面“新建数据抽取” 按钮，得到数据抽取,如下图:
8. 创建/选择表单
①创建表单
②配置表单
根据所需内容，配置表单字段（即表头），此处配置了包括网页主键、发布时间、正文内，网页标题以及网页地址五个字段,以配置发布时间(pubtime)为例
③数据抽取链接关联表单
选择刚才新创建的表单''360问答''
9.字段定位
主键字段自动生成无需定位,以pubtime字段为例进行定位,如下图所示,将各字段依次定位
10.采集预览
字段定位完成后,进行模板预览,查看是否所需内容都被采集进来
四.数据采集
1.连接数据库
2.关联数据表
3.选中数据表
4.开始采集
更多大数据咨询可关注公众号【前嗅大数据】（ID：forenose）
定期分享各行各业大数据情报 、竞品分析、AI舆情监控报告、SEO知识分享等干货。
我们不止做数据采集，燃爆AI 大数据
你想要的 我们都有！
- 上一篇：论坛自动采集小型博客论坛网站
- 下一篇：「原创」云岭论坛:违规采集信息当严惩不贷
相关推荐
- Python爬虫进阶教程(二):线程、协程
-
简介线程线程也叫轻量级进程，它是一个基本的CPU执行单元，也是程序执行过程中的最小单元，由线程ID、程序计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销，提高了操作系统的并发性能...
- A320-V2500发动机系统FADEC介绍(2)
-
目的全权数字发动机控制（FADEC）系统在所有飞行和运行阶段提供全范围发动机控制。...
- 三国志战棋版:玩家“二叔”用这套群DOT在比武中拿下31胜5负
-
声明：本文首发于今日头条，而后发布于“鼎叔闯三棋”的微信公众号、抖音、哔哩哔哩和小红书平台，如果在其他平台就是抄袭。...
- 真正的独一无二:Dot One 推出 DNA 定制系列 139英镑起
-
相信很多人在挑选衣物时有着这样的困扰，综合了性价比、面料等因素后好不容易找到了心仪的款式，还要担心是否会撞衫，不管是擦肩而过的陌生人还是身边的熟人，都令人尴尬。小部分人为此热衷于购买少量的古着或者限量...
- 崩铁:周年庆福利再升级，老角色加强时间确定，3.xdot体系反转
-
#埃安UT大一圈高级很多#...
- Dotgo推出RBMHub，扩大了CPaaS提供商的覆盖范围和功能
-
据telecompaper网7月15日报道，用于商业消息传递的RichCommunicationServices（RCS）解决方案的领先提供商Dotgo宣布推出RBMHub。RBMHub的推出扩大了C...
- 深度解析:快照取消Dot职业的将何去何从
-
写在前面曾几何时，术士的出现便被冠以dot大师的名头，从远古时期的献祭腐蚀虹吸不如暗牧一个痛，到TBC上满dot=荣誉击杀+1，到wlk接近全暴击的冰晶腐蚀，再到CTM就算了吧MOP的各种变态吸x放...
- 星穹铁道:抽卡芙卡之前，你必须了解什么是dot!
-
卡妈终于上线了，可还是有很多人不明白什么是dot伤害，抽了卡妈直接玩起了直伤流，把一个持续伤害的引爆器玩成了打手，卡妈打dot伤害是远高于直伤的，有了卡妈的玩家一直了解dot，不然这卡妈就真被玩成四不...
- 游戏界的闪耀星辰陨落:悼念知名游戏博主″dotα牛娃″
-
无尽哀思！在数字时代浪潮中，游戏不仅是消遣娱乐的代名词，更是连接心灵的桥梁，构筑了无数人的青春回忆。在这片浩瀚无垠的游戏宇宙中，有这样一位博主，他以独特的风采、深邃的洞察力和无尽的热情，成为了玩家心中...
- 直击2017新加坡同性恋聚会Pink Dot，自由爱!
-
今年的“粉红点”又来啦~这个支持LGBT群体（男女同志、双性恋、跨性别等）群体的活动，从2009年起，已经在新加坡举办8年了！”这个非营利的同性恋权益活动，主要是希望大家了解到，不管一个人的性倾向或...
- python-dotenv,一款超级实用处理环境变量python库
-
python-dotenv,一款超级实用处理环境变量python库python-dotenv概述：...
- 亚马逊语音助手毫无征兆发笑 诡异至极吓坏用户
-
来源:新华网美国电商亚马逊7日承诺，将更改名下“亚历克萨”语音系统设置，令它不会莫名发笑，免得吓坏用户。“亚历克萨”是亚马逊开发的语音助手软件，可服从用户语音指令完成对话、播放音乐等任务。依照原来设计...
- 2022最火英文网名男女生
-
精选好听英文昵称带翻译1．moveon（离开）2．Monster（怪物）3．Solo吉他手4．Finish.（散场）...
- 智能家具 RecycleDot 的出现给传统家具厂商带来新的挑战
-
从可穿戴手环、手表到智能衣服，智能硬件逐步渗透到每一个领域。最近有一对父子MikeSandru和JohnSandru在自家的车库中设计了一款智能家具RecycleDot，给日渐萧条的家具行...
- 欧洲通信卫星公司 OneWeb 敦促印度DoT尽早批准提供卫星宽带服务
-
据telecomtalk2月17日报道，欧洲通信卫星公司EutelsatOneWeb近日敦促印度电信部（DoT）尽快批准其在印度部署双地球站网关的计划，以便连接其近地轨道（LEO）全球卫星星座，并...