第(2/3)頁 當(dāng)然了,12306畢竟不是一般BBS論壇,把這個作為初學(xué)者的練習(xí)目標(biāo),還是有不小難度的。 不過也僅僅是不小而已,對于已經(jīng)吃透了整本書的陸學(xué)霸來說,問題卻是不大。爬蟲本身并沒有太高的技術(shù)難度,不到30行代碼就搞定了整個程序,完美運行無bug。 然后緊接著就是抓取了。 將網(wǎng)站的url復(fù)制在代碼后面,陸舟選擇運行,并且將數(shù)據(jù)生成表格,導(dǎo)入到預(yù)先建好的文件夾中。 緊接著機箱的風(fēng)扇開始嗡嗡作響,電腦變的卡頓起來,一行行編碼從黑色的對話框中閃過,被迅速整理進表格中。 看著不斷被填充的文件夾,靠在椅子上的陸舟心中感慨。 “python語言真尼瑪方便,難怪那么多大牛推薦這玩意兒。” 看著一行行數(shù)據(jù)閃過的信息,陸舟還真有種過把黑客癮的錯覺。 不過當(dāng)然了,也僅僅是錯覺而已,連感覺都談不上,畢竟這玩意兒和黑客技術(shù)完全八竿子打不著邊。從服務(wù)器上爬取公開信息是不犯法的,頂多有擠占別人服務(wù)器資源的嫌疑,會被各大站長痛恨不已。 所以很多“小氣”的網(wǎng)站會設(shè)置有反爬蟲程序,技術(shù)高點的要么讓你什么東西都爬不到,要么爬下來的都是亂碼,技術(shù)含量低的也可以通過訪問次數(shù)監(jiān)控,直接鎖了你的ip。 不過12306網(wǎng)站顯然沒那么小氣,想想一個連用戶體驗都不在意的壟斷巨頭,會在意那點服務(wù)器資源?只要你們別把老子的服務(wù)器折騰撲街了,誰管你! 看著文件夾里不斷堆積的車次數(shù)據(jù),陸舟眼睛轉(zhuǎn)了轉(zhuǎn),尋思著要不要用它來干點啥? “做個訂車票網(wǎng)站?好像有些脫了褲子放屁……” 忽然,陸舟心中一動。 要不…… 做個網(wǎng)上訂票的app? 這個臨時起意的想法一冒出來,便不可控制地在他心中生根發(fā)芽。 雖然網(wǎng)絡(luò)上有不少第三方訂票app,但官方的訂票app還真沒有。如果他能做出來一個與眾不同的,賣給那些感興趣的運營商,說不定還能賺點生活費。 一涉及到錢的問題,陸舟頓時就上心了,心中開始不斷盤算了起來。 技術(shù)上,獨立完成一個app從前端到后端的開發(fā),難度很高,遠(yuǎn)非寫一個簡單的爬蟲程序能相提并論,不過卻并非無法完成。更何況,解決不了的算法還能問系統(tǒng)嘛,消耗積分查詢資料本身也是一個學(xué)習(xí)的過程。 等他完成了獎勵任務(wù),解鎖了人工智能LV0這一分支科技,這些寶貴的經(jīng)驗肯定能派上用場。 第(2/3)頁