像我之前说的例子就是很简单的抓取例子，当热也有的平台为了防止爬虫抓取数据很做一些请求的验证。
这就需要你对请求头返回头cookie有一定的了解，包括模拟登陆，其实就是在请求的时候记住了cookie，通过cookie就能找到session就可以保持住登录的状态。
先放一下demo：
首先通过分析请求数据我发现 在请求餐厅列表的时候会多出来很多cookie，
而这些cookie的写入地址通过多次的抓包分析都获取过来了
所以我们完全模拟它们的规则去生成正确的cookie
$client = new client();
$client->debug(0);
$client->setCookie('REMOVE_ACT_ALERT',1);//写入第一次cookie验证
$client->get('http://waimai.xxxx.com/removeActAlert?requestUrl=http%3A%2F%2Fwaimai.meituan.com%2Fhome%2Fwx4gd6wer338');
$a = $client->getCookies();
$client->setCookies($a);//写入第二层
$res = $client->get('http://waimai.xxxx.com/home/'.$k);
$a = $client->getCookies();
$client->setCookies($a);//写入第三层
foreach($arr2 as $kk=>$vv) {
$page_offset = 1; // 控制分页
for ($page = 1; $page <= 20; $page++) {
$page_offset += 20; // 分页 +20
$arr = array(
'classify_type' => $vv,//type
'sort_type' => '0',
'price_type' => '0',
'support_online_pay' => '0',
'support_invoice' => '0',
'support_logistic' => '0',
'page_offset' => $page_offset,//控制分页的参数
'page_size' => '20'
); // 拼接好post需要的数据
$res = $client->post('http://waimai.xxxx.com/ajax/poilist', $arr);//请求餐厅数据
$max = json_decode($res, true); // 转化数组
for ($i = 0; $i < 20; $i++) // 整理数据总结：其实无论是什么样的参数只要我们的心思够细，并且不断的请求，实验 都是可以完全模拟出来的。
上面的例子验证是在cookie里 还有的会在header头里做相应的验证，比如添加一个参数，或者验证你的Referer 等等 所有的规则其实都可以模拟出来。
不过有一种，在做模拟登陆的时候那x浪来说，它会把你输入的密码和用户名加密成一个字符串，然后提交出去。这个时候我们就需要了解它们的加密规则
并且把用户名密码加密以后提交出去，理论上来说前端的加密都在JS里 ＝＝ 很遗憾不是我的强项所以新浪的模拟登陆我还不会。。。
在有一种，就是心跳检测，每秒请求一次服务器 当检测不到心跳的时候就不再给你返回数据 这个时候你就抓不到数据了，所以我们还要相应的模拟出正常的心跳检测。
原文链接：https://blog.csdn.net/u014017080/article/details/52369607
