自媒体营销吧 关注:9,517贴子:23,016

uc头条文章采集

只看楼主收藏回复

自动化文章采集,如公众号、自媒体平台、微博、媒体报导等可以节省很多时间。本例中数据导出excel后如下图:

文章图片分文件夹自动存放:


1楼2018-04-02 07:55回复
    文中用到的采集工具只是演示,想要获取的话可以前往官网:http://dls.bazhuayu.com/ws/730
    要是习惯使用其他方式替换即可。
    步骤1:创建采集任务
    1)进入主界面,选择“自定义模式”

    2)将要采集的网址URL复制粘贴到网站输入框中,点击“保存网址”


    3楼2018-04-02 07:57
    回复
      2025-05-15 01:29:04
      广告
      3)在页面右上角,打开“流程”,以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后,默认显示“推荐”文章。观察发现,此网页没有翻页按钮,而是通过下拉加载,不断加载出新的内容
      因而,我们选中“打开网页”步骤,在高级选项中,勾选“页面加载完成后向下滚动”,滚动次数根据自身需求进行设置,间隔时间根据网页加载情况进行设置,滚动方式为“向下滚动一屏”,然后点击“确定”

      (注意: 间隔时间需要针对网站情况进行设置,并不是绝对的。一般情况下,间隔时间>网站加载时间即可。有时候网速较慢,网页加载很慢,还需根据具体情况进行调整。)


      4楼2018-04-02 07:58
      回复
        步骤2:创建翻页循环及提取数据
        1)移动鼠标,选中页面里第一条文章链接。系统会自动识别相似链接,在操作提示框中,选择“选中全部”

        2)选择“循环点击每个链接”

        3) 系统会自动进入文章详情页。点击需要采集的字段(这里先点击了文章标题),在操作提示框中,选择“采集该元素的文本”

        文章发布时间、文章作者、文章发布时间、文章正文内容采集方法同上。以下采集的是文章正文


        5楼2018-04-02 07:59
        回复
          步骤3:提取图片地址
          1)接下来开始采集图片地址。先点击文章中第一张图片,再点击页面中第二张图片,在弹出的操作提示框中,选择“采集以下图片地址”

          2)修改字段名称,再点击“确定”


          3)现在我们已经采集到了图片URL,接下来为批量导出图片做准备。批量导出图片的时候,我们想要同一篇文章中的图片放进同一个文件中,文件夹以文章标题命名。
          首先,我们选中标题,在操作提示框中,选择“采集该元素的文本”
          选中标题字段,点击如图所示按钮



          6楼2018-04-02 08:03
          回复
            选择“格式化数据”

            点击添加步骤

            选择“添加前缀”

            在如图位置,输入前缀:“D:\UC头条图片采集\”,然后点击“确定”

            以同样的方式添加后缀“\”,然后点击“确定”

            4)修改字段名为“图片存储地址”,最后展示出的“D:\UC头条图片采集\文章标题”即为图片保存文件夹名,其中“D:\UC头条图片采集\”是固定的,文章标题是变化的



            7楼2018-04-02 08:04
            回复
              步骤4:修改Xpath
              1)选中整个“循环”步骤,打开“高级选项”,可以看到,八爪鱼默认生成的是固定元素列表,定位的是前13篇文章的链接

              2)在火狐浏览器中打开要采集的网页并观察源码。我们发现,通过此条Xpath:
              //DIV[@class='news-list']/UL[1]/LI/DIV[1]/DIV[1]/A,页面中所需的所有文章均被定位了

              3)将修改后的Xpath,复制粘贴到八爪鱼中所示位置,然后点击“确定”



              8楼2018-04-02 08:06
              回复
                步骤5:数据采集及导出
                1)点击左上角的“保存”,然后点击“开始采集”,选择“启动本地采集”

                注:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一
                2)采集完成后,会跳出提示,选择“导出数据”,选择“合适的导出方式”,将采集好的数据导出

                这样就得到了一个Excel表格。


                9楼2018-04-02 08:07
                回复
                  2025-05-15 01:23:04
                  广告
                  2)打开File菜单,选择从EXCEL导入(目前只支持EXCEL格式文件)

                  3)进行相关设置,设置完成后,点击OK即可导入文件
                  选择EXCEL文件:导入你需要下载图片地址的EXCEL文件
                  EXCEL表名:对应数据表的名称
                  文件URL列名:表内对应URL的列名称,在这里为“图片URL”
                  保存文件夹名:EXCEL中需要单独一个列,列出图片想要保存到文件夹的路径,可以设置不同图片存放至不同文件夹,在这里为“图片存储地址”
                  可以设置不同图片存放至不同文件夹,在这里我们已经于前期准备好了,同一篇文章中的图片会放进同一个文件中,文件夹以文章标题命名

                  4)点击OK后,界面如图所示,再点击“开始下载”

                  5)页面下方会显示图片下载状态

                  6)全部下载完成后,找到自己设定的图片保存文件夹,可以看到,图片URL已经批量转换为图片了,且同一篇文章中的图片会放进同一个文件中,文件夹以文章标题命名


                  11楼2018-04-02 08:10
                  回复
                    顶一下


                    12楼2018-04-07 09:51
                    回复
                      顶一下


                      13楼2018-04-08 08:30
                      回复
                        顶一下


                        14楼2018-04-08 09:07
                        回复
                          顶一下


                          15楼2018-04-08 09:46
                          回复
                            顶一下


                            16楼2018-04-08 10:26
                            回复
                              2025-05-15 01:17:04
                              广告
                              顶一下


                              17楼2018-04-08 10:46
                              回复