Python ——从入门到监控租房网站

发表于 更新于 分类于 本文字数： 3.1k 阅读时长 ≈ 3 分钟

Python

——从入门到 PY 交易

其实我早就入门了。
其实我入门了好多次。

不过这次是我第一次真正写出来一个有点用处的脚本。

虽然最终租下房子还是中介提醒我可以预定了，这脚本没完全起效

事情起因是因为最近房子快到期了，所以考虑换一套。

由于有跟人合租的需求，所以想找一套两室一厅的。

在某租房网站上挑来挑去后，决定租 X 地的房子，于是和中介打好招呼，去看房。

结果到了地方，中介告诉我房子还在装修没法看，于是只好问了问详情，留了联系方式就走了。

没想到刚上地铁走了没两站，中介打电话告诉我房子可以看了，并且看中的几套中，有一套当天 50 分钟后就可以签约。

然而看中的几套中，有一套比这一套更喜欢的，所以告诉中介希望等等后面的房子。

结果就在这套房子可签约后的 20 分钟，房子被别人签走了，走了，了……

（该网站是线上签约，热门房子就看谁手速快）

虽然想要的并不是这套房子，但是痛定思痛，还是决定写个脚本实时监控想要的房子。

虽然我学的是 Java，但是 Java 本身运行比较吃内存，不够轻量级，所以我把目光转向 Python，一个我并不怎么会的语言。

思路如下：

  1. 如果网站是以 JavaScirpt 发起请求调用 JSON 获取房源数据的话，我直接解析 JSON 就很容易得到房子是否可签约。通过 JSON 获取数据例子：Apple Inc.预约新机时显示各店是否有新机是这种模式，常见于 Ajax 异步刷新使用的方式。不过我找了一圈，发现该网站不是这种类型，可能是 PHP 在后端调用接口直接把成品页面拼装好了直接返回给浏览器的；
  2. 直接抓取整个页面，通过寻找相关 Dom 节点获取所需数据，根据数据判断房子是否可以预定；
  3. 通过阿里大于，当房子可以预定时就给自己的手机发一条短信提醒；
  4. 定期执行该方法，准备随时获得最新信息。
    具体代码如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
# -*- coding: utf-8 -*-
import httplib2.socks
import top.api
import sys
import time
from threading import Timer
from lxml import etree

reload(sys)
sys.setdefaultencoding('utf8')

# 阿里大于接口URL
alidayuUrl = 'gw.api.taobao.com'
# 阿里大于接口端口
alidayuPort = '80'
# 阿里大于短信模板（需要通过阿里大于服务器端验证）
alidayuTemplet = "SMS_12345678"
# 阿里大于签名（需要通过阿里大于服务器端验证）
alidayuSign = "贰浩次元"
# 阿里大于手机号
alidayuTel = "1**********"

class PageClass:
    # 获得页面
    def getPage(self, url):
        http = httplib2.Http()
        response,content = http.request(url,'GET')
        return content

# 打开某一文件获得地址列表
def getURL(filepath):
    input = open(filepath, 'r')
    cites = input.readlines()
    return cites

def zhaofangzi():
    # 1、打开文件
    urls = getURL('url.txt')
    # 2、循环所有地址
    for url in urls:
        print "url:",url
        # 3、实例化页面类并获取页面
        page = PageClass()
        content = page.getPage(url.strip())

        # 4、将页面转化成树
        tree = etree.HTML(content)
        # 5、解析树，找到所需元素，如预订按钮元素
        hyperlinks = tree.xpath(u'//div[@class="room_btns clearfix"]/a')
        # 6、循环元素（此处只可能有1个元素或0个元素，即仅执行一次或不执行）
        for index,hyperlink in enumerate(hyperlinks):
            if index > 1:
                break
            btnId = hyperlink.get('id')
            yudingFlg = False
            if index == 0:
                if btnId == 'zreserve':
                    yudingFlg = False
                else:
                    yudingFlg = True
            elif index == 1:
                if btnId == 'toYuding':
                    yudingFlg = True

            if yudingFlg == True:
                # 7、获取所需的房间名称
                title = tree.xpath(u'//div[@class="room_name"]/h2')[0].text.strip()
                print "title:",title
                # 8、实例化阿里大于短信发送请求并填入各种配置参数
                req = top.api.AlibabaAliqinFcSmsNumSendRequest(alidayuUrl, alidayuPort)
                req.set_app_info(top.appinfo('appkey', 'appsecret'))

                req.extend = ""
                req.sms_type = "normal"
                req.sms_free_sign_name = alidayuSign
                req.sms_param = "{housename:'"+title+"'}"
                req.rec_num = alidayuTel
                req.sms_template_code = alidayuTemplet
                try:
                    # 9、发送
                    resp = req.getResponse()
                    print (resp)
                except Exception, e:
                    print (e)
        print "end"
    return True

if __name__ == "__main__":
    while zhaofangzi():
        print 'now time:'+time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))+'. waiting for 15 min'
        t = Timer(60 * 15, zhaofangzi)
        t.start()
        t.join()

实际操作及运行中遇到的问题如下：

  1. 乱码问题。不同的机器上运行，有的抓取页面时会出乱码，有的不会出，这个比较头疼，会直接影响到运行结果，最终也没解决这个问题（反正房子已经订好了）；
  2. 做这个脚本的时候实际没有监控到「XX:XX 可预订」按钮的信息，实际上之后的某个版本做了，但仍然卡在乱码的问题上，最终还是放弃了。

一张效果图

效果图