帖子
  • 帖子
  • 用户

【数据采集神器】深度采集网页信息(附视频教程)

131
回复
2797
查看
  [复制链接]

微信扫一扫 分享朋友圈

  • TA的每日心情
    开心
    5 天前
  • 签到天数: 81 天

    [LV.6]常住居民II

    15

    主题

    197

    帖子

    9510

    积分

    论坛元老

    Rank: 8Rank: 8

    积分
    9510
    发表于 2018-3-19 10:20:20 | 显示全部楼层 |阅读模式
    本帖最后由 Lin1993 于 2018-3-27 14:00 编辑

    火车采集器基本功能特点

    1、规则自定义 – 通过采集规则的定义,可以搜索所有网站采集几乎任何类型的信息。
    2、多任务,多线程 – 可以同时进行多个信息采集任务,每个任务可以使用多个线程。
    3、所见即所得 - 任务采集过程所见即所得,过程中遍历的链接信息、采集信息、错误信息等都会及时的反映在软件界面中。
    4、数据保存 - 数据边采集边自动保存到关系数据库中,并且数据结构能够自动适应,软件可以根据采集规则自动创建数据库,以及其中的表和字段,也可以通过导库方式灵活的将数据保存到客户已有的数据库结构中。
    5、断点续采 – 信息采集任务可以在停止后从断点开始继续采集,从此你用不再担心你的采集任务意外中断了。
    6、网站登录 - 支持网站Cookie,支持网站可视化登录,即使登录时需要验证码的网站也能采集。
    7、**任务 – 通过这个功能可以让你的采集任务定时、定量或者一直循环执行。
    8、采集范围限制 – 可以根据采集的深度和网址的标识来限制采集的范围。
    9、文件下载 - 可以将采集到的二进制文件(诸如:图片、音乐、软件、文档等等)下载到本地磁盘或者采集结果数据库中。
    10、结果替换 – 可以将采集的结果根据规则替换成你定义的内容。
    11、条件保存 – 可以根据某个条件来决定那些信息保存,那些信息过滤。
    12、过滤重复内容 - 软件可根据用户设置和实际情况对重复内容和重复网址自动删除重复内容。
    13、特殊链接识别 – 运用此功能可以将用JavaScript动态生成的链接或其他更古怪的连接识别出来。
    14、数据发布 - 可以通过自定义接口,将已采集的结果数据发布到任意的内容管理系统和指定数据库中。现在已支持的目标发布媒体包括:数据库(access, sql server,my sql,oracle) ,静态htm文件。
    15、预留编程接口 - 定义多个编程接口,用户可以在事件中利用PHP,C#语言进行编程,扩充采集功能。

    火车采集器特有功能

    1、支持所有网站编码:完美支持采集所有编码格式的网页,程序还可以自动识别网页编码。
    2、多种发布方式:支持目前所有主流和非主流的CMS,BBS等网站程序,通过系统的发布模块能实现采集器和网站程序间的完美结合。
    3、全自动:无人值守工作,配置好程序后,程序将依据您的设置自动运行,完全无需人工干预。
    4、本地编辑:本地可视化编辑已采集的数据。
    5、采集测试:这是其它任何同类采集软件所不能比的,程序支持直接查看采集结果并测试发布。
    6、管理方便:使用站点+任务方式管理采集节点,任务支持批量操作,再多的数据管理也很轻松。



    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
    【数据采集神器】深度采集网页信息(附视频教程)
    http://www.51bestseller.com/forum.php?mod=viewthread&tid=4494&fromuid=941
    (出处: 倍速社区)
  • TA的每日心情
    奋斗
    2018-4-22 16:46
  • 签到天数: 71 天

    [LV.6]常住居民II

    10

    主题

    218

    帖子

    1190

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1190
    发表于 2018-3-19 10:23:20 | 显示全部楼层
    66666666666666666666666
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    前天 13:44
  • 签到天数: 290 天

    [LV.8]以坛为家I

    15

    主题

    184

    帖子

    2万

    积分

    论坛元老

    Rank: 8Rank: 8

    积分
    28029
    QQ
    发表于 2018-3-19 10:32:57 | 显示全部楼层
    7777777777777777777777777777777777777
    回复

    使用道具 举报

  • TA的每日心情

    2018-3-31 07:38
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    1

    主题

    5

    帖子

    97

    积分

    注册会员

    Rank: 2

    积分
    97
    发表于 2018-3-19 10:37:41 | 显示全部楼层
    多谢分享。先攒他两个金币
    回复

    使用道具 举报

  • TA的每日心情
    难过
    2018-11-13 10:02
  • 签到天数: 85 天

    [LV.6]常住居民II

    35

    主题

    211

    帖子

    703

    积分

    高级会员

    Rank: 4

    积分
    703
    QQ
    发表于 2018-3-19 16:51:40 | 显示全部楼层
    这个好深奥哦
    回复

    使用道具 举报

  • TA的每日心情

    2018-12-6 21:30
  • 签到天数: 83 天

    [LV.6]常住居民II

    2

    主题

    90

    帖子

    1581

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1581
    发表于 2018-3-19 17:20:21 | 显示全部楼层

    多谢分享。先攒他两个金
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    2018-11-23 09:19
  • 签到天数: 216 天

    [LV.7]常住居民III

    0

    主题

    239

    帖子

    1万

    积分

    论坛元老

    Rank: 8Rank: 8

    积分
    11011
    发表于 2018-3-19 17:44:29 | 显示全部楼层
    赚金币喜欢金币
    君子之交淡如水!
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    2018-11-23 09:19
  • 签到天数: 216 天

    [LV.7]常住居民III

    0

    主题

    239

    帖子

    1万

    积分

    论坛元老

    Rank: 8Rank: 8

    积分
    11011
    发表于 2018-3-19 17:47:13 | 显示全部楼层
    赚金币赚金币
    君子之交淡如水!
    回复

    使用道具 举报

  • TA的每日心情

    2018-3-20 15:32
  • 签到天数: 6 天

    [LV.2]偶尔看看I

    1

    主题

    20

    帖子

    161

    积分

    注册会员

    Rank: 2

    积分
    161
    发表于 2018-3-19 18:11:12 | 显示全部楼层
    攒钱,攒钱
    回复

    使用道具 举报

  • TA的每日心情
    开心
    5 天前
  • 签到天数: 81 天

    [LV.6]常住居民II

    15

    主题

    197

    帖子

    9510

    积分

    论坛元老

    Rank: 8Rank: 8

    积分
    9510
     楼主| 发表于 2018-3-20 09:32:18 | 显示全部楼层

    相比python,这个算是傻瓜式了。。。很容易上手
    【数据采集神器】深度采集网页信息(附视频教程)
    http://www.51bestseller.com/forum.php?mod=viewthread&tid=4494&fromuid=941
    (出处: 倍速社区)
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    快速回复 返回顶部 返回列表