Please enable JavaScript.
Coggle requires JavaScript to display documents.
爬蟲 (系統功能, 功能, conf) - Coggle Diagram
爬蟲
系統功能
每日(小時)自動爬蟲(看conf)
看網站有沒有新建案或新物件的頁面或API(不然要自己搜尋時間排序)
網頁或API
來源
591
樂居
政府單位?
找固定範圍爬就好(設定檔)
Local DB資料儲存(sqlite)
物件
地址(key)
縣市
如果是預售就直接飆整棟地址應該就可以了?
鄉鎮市
販售種類(新建案、中古屋)
(建案)名稱?
物件(當前)價格
物件id,
價格(總價)
一坪價格
最後更新
坪數
最新價格?
來源網址
如果多個來源資訊不一樣怎辦?
看來源有沒有更新日期的紀錄,選新的更新
都沒有採先來後到,後來的重複就不更新,或進行資料補齊
車位
房屋類型(公寓、透天、電梯大樓)
物件詳細
樓層(樓/總樓層) 透天就(n/n)
靠近捷運
幾房幾廳
陽台
面向?
建設公司
物件歷史價格(純記錄用,只抓新的不回朔)
物件Id
總價
交易日期
一坪價格
是否成交
建立時間
介面
WebUI
找地方串通通知物線上線
Line 機器人
寄信通知
功能
自動顯示最新的建案or 物件資訊
可選擇地區
同個地區(同一棟)顯示清單比較
conf
爬蟲
網站class啟用
爬蟲頻率