• 插件类别:苹果cms
  • 功能属性:采集优化
  • 附件尺寸:9.23 KB
  • 最后更新:2019-04-01
  • 下载次数:0
  • 初衷: 由于官方的定时采集为被动式采集,只有在设定的时间内有人访问网站才能后台采集,而且经过使用发现,8.X的采集还是有点问题的,貌似只能采集一页数据,所以另辟蹊径,自己写了一个程序,然后加上计划任务的方法,让后台自动采集程序!此为基本采集功能,也算为大家提供一个思路,比如简单修改之后可以实现定时刷新缓存等,发上来和大家共同讨论,因个人使用环境不同,所以对服务器类型有要求,希望大家理解。
    使用须知:
    1.本插件在不修改的情况下仅适用于8.X PHP版本,ASP和7.X版本其实简单修改就可以使用,无基础的童鞋还是百度方法,后面会给出程序原理。
    2.本插件需要环境为WIN系统主机,linux应该适用,但最后的定时任务不一样,关于linux的定时采集置顶帖也有,使用该插件也可以,但是定时程序请自行百度之。或者使用一些刷流量的软件,自行定义网址也可以,下面会说明具体方法。
    3.本插件需要配置相关读写权限,请自行配置权限。建议权限为:WIN主机建议增加everyone的读写权限,linux主机777即可。
    4.程序需要3次执行系统IO操作,效率可能会比较低,由于本人使用VPS主机,系统性能还可以。所以当时写的时候没有考虑该因素,大家可以自行百度PHP curl 函数用法,简单修改即可避免IO操作。(原理,调用curl 时不把COOKIE写入TXT文档,直接赋值)其实空间用户也不需要考虑很多,只是效率略低而已。
    5.建议大家自动采集频率为【每天一次】,采集范围为【采集当天】,因为毕竟是调用系统自带的网页采集方式,一次采集【本周】数据,数据量会比较大,严重影响空间性能。因为既然都可以定时采集了,每天采集应该可以满足更新需求了。
    6.该采集插件运行方式,仅适合于【联盟资源】,自行编写的采集方式还没有测试,应该需要略微修改程序。
    7.如果你的网站以开启加速乐等加速防火墙产品,记得把admin目录设置成白名单
    程序原理:
    1.由于官方程序没有开源,关键的系统的程序都经行了Zend 加密,所以不能直接修改官方程序,只能自行编写,程序原理很简单,定时模拟登陆之后打开采集页面(非官方定时采集的页面),运行一段时间之后关闭,达到定时更新的目的。再次也请官方考虑下修改下后台【定时采集】的功能,因为是触发式的,更新非常不稳定,而且8.X的【定时采集】貌似还有点问题,只能采集一页。或者封装一个联盟采集的接口,要求无需登陆(或者可以POST登陆),我们只需要在主机上加一个计划任务就可以实现真正意义上的定时采集了!
    2.针对有基础或者想修改的朋友,详细说下方法,写一个后台程序,PHP调用curl 方法或者snoopy方法模拟登陆,取得COOKIE(sessionid会改变,直接调用COOKIE即可)后,带着登陆COOKIE访问采集页面即可,根据采集时间,设置一个计划任务定时执行即可。
    使用方法:
    1.进入后台,用户→管理员 添加一个新的管理员帐号,因为一个管理员帐号只能在一个IP和电脑上登陆,记得启用管理员帐号,并给予所有权限。
    2.进入后台,采集→DJ79资源 选择你想自动更新的资源,在【采集当天】的链接上右键看属性,记录下链接地址,例如优酷的链接如下:
    [code]http://www.baidu.com/admin/index.php?m=collect-cj-ac2-day-hour-24-xt-1-ct--group-tudou-flag-dj79_com-apiurl-http://api.dj79.com/Apicloud[/code]
    3.下载附件【caiji.php】,修改12~24行, 共5个参数(需要修改的地方已打【修改】标签),里面有详细说明,保存上传到admin目录,如果你已经把默认后台目录改名了,请上传到你改名之后的目录中,并赋予everyone用户的读写权限。不会的同学请自行百度,很简单的。
    4.为了验证程序可用性,可重复步骤2,并复制出一个【采集本周】的链接(采集本周数据较多,测试一下能否采集第二页),如果测试无误,可以采集,请还原骤2中的采集链接为【采集当天】的链接。注意:由于 各服务器的配置不同,效率不一样,执行时间也不一样,耐心多等一会!只要页面不报错,基本上多等一会就能显示采集页面!
    5.确认第4步可以正常采集之后:
    如果你是WIN主机并且是VPS主机(可以远程桌面的话),下载附件【dingshi.vbs】文件,以文本文档打开(或直接右键编辑)修改2处,一处为第二句:URL=“XXXXXX”,引号里面修改为你下载的附件一【caiji.php】的路径。第二处为:wscript.sleep 600000 这句,其中600000为时间,单位是毫秒,1000毫秒=1秒 算下来就是 600000 为600秒 也就是10分钟,意思是打开采集网页10分钟后关闭。自己修改为你需要的时间,建议不要太久,每天一更的话,2到3分钟足够了。 修改保存完毕之后,上传到服务器的桌面上,添加计划任务,设置系统每天运行一次dingshi.vbs文件,这个很简单,就不详细描述了,不会的童鞋请大家百度【添加计划任务教程】。
    如果你不是WIN主机,或者VPS的用户,下载一个刷流量的软件,比如流量宝之类的,定时访问你上传的 【caiji.php】文件,也可以在自己的电脑上把【dingshi.vbs】加入计划任务(这样的方法,只有在你开机的时候并且计划时间也在开机时间范围内才行,比如你设置晚上10点刷新,但是你晚上10点的时候没有开机,更新计划就无执行。)
    使用建议:
    1.建议计划时间为晚上零点以后到早8点之间,这段时间内访问人数较少,服务器的系统资源相对充足。
    2.如果需要定时采集多个资源,可以复制【caiji.php】和【dingshi.vbs】文件,记得该不同的名字,加入多个计划就行,建议一段时间内(比如一个小时)仅执行一个采集计划!如果同一时间执行多份采集计划,会加重系统负担,一但资源吃紧,将造成服务器卡顿,采集不能入库等意外情况。

    广告位不存在
    广告位不存在

    评论(0条)

    请登录后评论
      Administrator

      AdministratorRank: 16

      0

      0

      0

      ( 此人很懒并没有留下什么~~ )
      img

      苹果8X另类定时采集方法

      下载积分钻石会员
      免费免费
      请您 登录后 下载 !
      说明

      您下载所消耗的积分将转交上传作者。上传资源,免费获取积分!