|
|
51CTO旗下网站
|
|
移动端

Python爬取房产数据,在地图上展现!

小伙伴,我又来了,这次我们写的是用python爬虫爬取乌鲁木齐的房产数据并展示在地图上,地图工具我用的是 BDP个人版-免费在线数据分析软件,数据可视化软件 ,这个可以导入csv或者excel数据。

作者:欧巴来源:知乎|2019-01-11 10:22

Python爬取房产数据,在地图上展现!

小伙伴,我又来了,这次我们写的是用python爬虫爬取乌鲁木齐的房产数据并展示在地图上,地图工具我用的是 BDP个人版-免费在线数据分析软件,数据可视化软件 ,这个可以导入csv或者excel数据。

  • 首先还是分析思路,爬取网站数据,获取小区名称,地址,价格,经纬度,保存在excel里。再把excel数据上传到BDP网站,生成地图报表

本次我使用的是scrapy框架,可能有点大材小用了,主要是刚学完用这个练练手,再写代码前我还是建议大家先分析网站,分析好数据,再去动手写代码,因为好的分析可以事半功倍,乌鲁木齐楼盘,2017乌鲁木齐新楼盘,乌鲁木齐楼盘信息 - 乌鲁木齐吉屋网 这个网站的数据比较全,每一页获取房产的LIST信息,并且翻页,点进去是详情页,获取房产的详细信息(包含名称,地址,房价,经纬度),再用pipelines保存item到excel里,最后在bdp生成地图报表,废话不多说上代码:

JiwuspiderSpider.py

  1. # -*- coding: utf-8 -*- 
  2. from scrapy import Spider,Request 
  3. import re 
  4. from jiwu.items import JiwuItem 
  5.  
  6.  
  7. class JiwuspiderSpider(Spider): 
  8.     name = "jiwuspider" 
  9.     allowed_domains = ["wlmq.jiwu.com"
  10.     start_urls = ['http://wlmq.jiwu.com/loupan'
  11.  
  12.     def parse(self, response): 
  13.         ""
  14.         解析每一页房屋的list 
  15.         :param response:  
  16.         :return:  
  17.         ""
  18.         for url in response.xpath('//a[@class="index_scale"]/@href').extract(): 
  19.             yield Request(url,self.parse_html)  # 取list集合中的url  调用详情解析方法 
  20.  
  21.         # 如果下一页属性还存在,则把下一页的url获取出来 
  22.         nextpage = response.xpath('//a[@class="tg-rownum-next index-icon"]/@href').extract_first() 
  23.         #判断是否为空 
  24.         if nextpage: 
  25.             yield Request(nextpage,self.parse)  #回调自己继续解析 
  26.  
  27.  
  28.  
  29.     def parse_html(self,response): 
  30.         ""
  31.         解析每一个房产信息的详情页面,生成item 
  32.         :param response:  
  33.         :return:  
  34.         ""
  35.         pattern = re.compile('<script type="text/javascript">.*?lng = \'(.*?)\';.*?lat = \'(.*?)\';.*?bname = \'(.*?)\';.*?' 
  36.                              'address = \'(.*?)\';.*?price = \'(.*?)\';',re.S) 
  37.         item = JiwuItem() 
  38.         results = re.findall(pattern,response.text) 
  39.         for result in results: 
  40.             item['name'] = result[2] 
  41.             item['address'] = result[3] 
  42.             # 对价格判断只取数字,如果为空就设置为0 
  43.             pricestr =result[4] 
  44.             pattern2 = re.compile('(\d+)'
  45.             s = re.findall(pattern2,pricestr) 
  46.             if len(s) == 0: 
  47.                 item['price'] = 0 
  48.             else:item['price'] = s[0] 
  49.             item['lng'] = result[0] 
  50.             item['lat'] = result[1] 
  51.         yield item 

item.py

  1. # -*- coding: utf-8 -*- 
  2.  
  3. # Define here the models for your scraped items 
  4. # See documentation in
  5. # http://doc.scrapy.org/en/latest/topics/items.html 
  6.  
  7. import scrapy 
  8.  
  9.  
  10. class JiwuItem(scrapy.Item): 
  11.     # define the fields for your item here like
  12.     name = scrapy.Field() 
  13.     price =scrapy.Field() 
  14.     address =scrapy.Field() 
  15.     lng = scrapy.Field() 
  16.     lat = scrapy.Field() 
  17.  
  18.     pass 

pipelines.py 注意此处是吧mongodb的保存方法注释了,可以自选选择保存方式

  1. # -*- coding: utf-8 -*- 
  2.  
  3. # Define your item pipelines here 
  4. # Don't forget to add your pipeline to the ITEM_PIPELINES setting 
  5. # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html 
  6. import pymongo 
  7. from scrapy.conf import settings 
  8. from openpyxl import workbook 
  9.  
  10. class JiwuPipeline(object): 
  11.     wb = workbook.Workbook() 
  12.     ws = wb.active 
  13.     ws.append(['小区名称''地址''价格''经度''纬度']) 
  14.     def __init__(self): 
  15.         # 获取数据库连接信息 
  16.         host = settings['MONGODB_URL'
  17.         port = settings['MONGODB_PORT'
  18.         dbname = settings['MONGODB_DBNAME'
  19.         client = pymongo.MongoClient(host=host, port=port) 
  20.  
  21.         # 定义数据库 
  22.         db = client[dbname] 
  23.         self.table = db[settings['MONGODB_TABLE']] 
  24.  
  25.     def process_item(self, item, spider): 
  26.         jiwu = dict(item) 
  27.         #self.table.insert(jiwu) 
  28.         line = [item['name'], item['address'], str(item['price']), item['lng'], item['lat']] 
  29.         self.ws.append(line) 
  30.         self.wb.save('jiwu.xlsx'
  31.  
  32.         return item 

最后报表的数据

Python爬取房产数据,在地图上展现!

mongodb数据库

Python爬取房产数据,在地图上展现!

地图报表效果图:https://me.bdp.cn/share/index.html?shareId=sdo_b697418ff7dc4f928bb25e3ac1d52348

【编辑推荐】

  1. 8 年后重登王座,Python 再度成为 TIOBE 年度编程语言
  2. 迁移潮来袭!数十个项目宣布即将停止支持 Python 2
  3. 你必须知道的10个Python第三库
  4. 必备!澳门博彩官网和数据科学的七大 Python 库
  5. 热点 | 50个抢票加速包,还不如这个Python抢票神器
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

Oracle 10g应用指导与案例精讲

本书作者结合自己多年实践经验,从Oracle开发应用中遇到的问题着手,全面系统地介绍Oracle的安装与卸载、数据字典、安全管理以及用PL/SQL开...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

澳门博彩官网