菜比肉贵?用Python采集蔬菜与肉类商品历史价格带你了解了解!原题目:菜比肉贵?用Python搜罗蔬菜与肉类商品史册代价,带你认识认识!

  以北京为例,像猪肉的代价基础上从年头的25块/斤逐渐低浸到现正在的10块/斤。

  而极少蔬菜比方油麦菜从年头的2.5元/斤到现正在的4.5元/斤,高的功夫能有8元/斤;再比方菠菜从年头的1.7元/斤到现正在的4元/斤,高的功夫也能到7-8元/斤。

  咱们知晓前年50块一斤猪肉(也是离谱),现正在可能买5斤,于是就有了下面这张对照图:

  那么,蔬菜代价目前究竟是什么境况呢?终年通常又是什么样的走势呢?即日,咱们就用Python搜罗一下北京新发地菜墟市的代价行情来一齐认识下!

  咱们通过翻页(下一页)查看后续数据,然而创造所在栏url没变,因此是动态加载的,那么老例子:F12开采者形式—Network—XHR,然后翻页可能找到数据乞请新闻如下:

  因为乞请到的数据是json花式,较量好统治,咱们直接上代码(完全代码)。

  可能看到,原来该网站并没有反爬,然而咱们用最大略的这种搜罗体例花了2小时23分钟,属实有点久。

  那么如何可能加快呢?经过、线程与携程等体例可能加快,闭于这方面的常识与行使咱们会正在后续实行专题先容哈,这里先预告一下。

  以上便是本次一共实质,因为菜品类型较众,这里不做张开统治,群众可能自行钻探哈。