http采集远程数据,增加缓存功能

发布:2018-09-07 21:58   点击:1307次   回复:0

贴心猫:http采集远程数据,增加缓存功能; (在下一版本v4.4提现)

代码


    comHttp::setCache(30); // 缓存30分钟

    $url = "http://imcat.txjia.com/chn.php?news-n1012";
    $data = comHttp::curlCrawl($url);
    $url = "http://imcat.txjia.com/chn.php?news-n1014";
    $data = comHttp::socketCrawl($url);
    $url = "http://imcat.txjia.com/chn.php?news-n1022";
    $data = comHttp::fileCrawl($url);


    $url = 'https://www.baidu.com/s?ie=utf-8&f=8&wd=php';
    comHttp::doGet($url);
    $url = 'https://linzhi.haofang.net/sale/a2467-b27128-c2-e3-f2/';
    comHttp::doGet($url);
    $url = 'http://auto.08cms.com/index.php?caid=1&ccid1=167&addno=2&jiebei=12&searchword=%B6%AB';
    comHttp::doGet($url);

http采集数据,缓存作用:

  1. 采集初始调试阶段;总要不断的修改代码,调试... 如果不缓存,每次刷新调试,都要等待获取远程数据,明显卡一下; 而且有些站,因为不断采集被封ip(如fang.com)[我就确实遇到过]

  2. 有些接口,限制调用频率(如好房通,限制3min调用一次) 你每次修改代码调试,难道要等3min???

  3. 呵呵,节外生枝(广告)
  • 在后续不久的版本:贴心猫 会增加:好房通(二手/出租)扩展!
  • 我的python辅助系统:微爬(Wepy),首先使用了采集缓存,思想从那里沿用过来的! 微爬(Wepy): http://imcat.txjia.com/chn.php?topic.2018-3j-g9b1
状态:开放 Makedown 有用   bug编号: ---
回复(0条)   >>我来回复 回复列表

关于 GitHub 导航 部门 反馈

提示:`/home.php`入口数据仅为演示功能,不构成任何交易凭证,也不承担相关风险和责任!

Copyright © 2011-2018 xxxxx.com All rights reserved.

Run:3.085/31.479(ms); 13(sql)/3.263(MB); comm:faqs/detail; Upd:2024-04-20 05:23:15