用爬蟲看電影

㈠ Python爬蟲，爬取豆瓣電影檢測到ip異常請求，怎麼辦解決，現在爬取不了豆瓣電影了

ip估計被封了，換個ip

㈡ python爬蟲抓取電影top20排名怎麼寫

初步接觸python爬蟲(其實python也是才起步)，發現一段代碼研究了一下，覺得還比較有用處，Mark下。
上代碼：

#!/usr/bin/python#coding=utf-8#Author: Andrew_liu#mender：cy"""
一個簡單的Python爬蟲, 用於抓取豆瓣電影Top前100的電影的名稱
Anthor: Andrew_liu
mender：cy
Version: 0.0.2
Date: 2017-03-02
Language: Python2.7.12
Editor: JetBrains PyCharm 4.5.4
"""import stringimport reimport urllib2import timeclass DouBanSpider(object) :
"""類的簡要說明
主要用於抓取豆瓣Top100的電影名稱

Attributes:
page: 用於表示當前所處的抓取頁面
cur_url: 用於表示當前爭取抓取頁面的url
datas: 存儲處理好的抓取到的電影名稱
_top_num: 用於記錄當前的top號碼
"""

def __init__(self):
self.page = 1
self.cur_url = "h0?start={page}&filter=&type="
self.datas = []
self._top_num = 1
print u"豆瓣電影爬蟲准備就緒, 准備爬取數據..."

def get_page(self, cur_page):
"""
根據當前頁碼爬取網頁HTML
Args:
cur_page: 表示當前所抓取的網站頁碼
Returns:
返回抓取到整個頁面的HTML(unicode編碼)
Raises:
URLError:url引發的異常
"""
url = self.cur_url try:
my_page = urllib2.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8") except urllib2.URLError, e: if hasattr(e, "code"): print "The server couldn't fulfill the request."
print "Error code: %s" % e.code elif hasattr(e, "reason"): print "We failed to reach a server. Please check your url and read the Reason"
print "Reason: %s" % e.reason return my_page def find_title(self, my_page):
"""
通過返回的整個網頁HTML, 正則匹配前100的電影名稱

Args:
my_page: 傳入頁面的HTML文本用於正則匹配
"""
temp_data = []
movie_items = re.findall(r'<span.*?class="title">(.*?)</span>', my_page, re.S) for index, item in enumerate(movie_items): if item.find("&nbsp") == -1:
temp_data.append("Top" + str(self._top_num) + " " + item)
self._top_num += 1
self.datas.extend(temp_data) def start_spider(self):
"""
爬蟲入口, 並控制爬蟲抓取頁面的范圍
"""
while self.page <= 4:
my_page = self.get_page(self.page)
self.find_title(my_page)
self.page += 1def main():
print u"""
###############################
一個簡單的豆瓣電影前100爬蟲
Author: Andrew_liu
mender: cy
Version: 0.0.2
Date: 2017-03-02
###############################
"""
my_spider = DouBanSpider()
my_spider.start_spider()
fobj = open('/data/moxiaokai/HelloWorld/cyTest/blogcode/top_move.txt', 'w+') for item in my_spider.datas: print item
fobj.write(item.encode("utf-8")+' ')
time.sleep(0.1) print u"豆瓣爬蟲爬取完成"if __name__ == '__main__':
main()

運行結果：

㈢ python scrapy爬蟲豆瓣的「載入更多」 應該怎麼爬到所有的電影

不說具體，說思路。
你要分析 當你點擊 載入更多 時，瀏覽器都做了什麼（他是怎麼取回 "更多數據"的）
然後在scrapy中模擬這一過程！

㈣ 有個會用python爬蟲搜電影的男票是一種什麼體驗

哪個方便用哪個，python連接資料庫都有對應的包的，如果你嫌麻煩，可以用自帶的sqlite3包。

㈤ python能爬電影嗎

可以爬電影的。你想看什麼電影？我能找到

㈥ 爬蟲電影院信息違法嗎

違法。非法獲取計算機系統數據罪
根據《中華人民共和國刑法》第二百八十五條規定，非法獲取計算機信息系統數據、非法控制計算機信息系統罪，是指違反國家規定，侵入國家事務、國防建設、尖端科學技術領域以外的計算機信息系統或者採用其他技術手段，獲取該計算機信息系統中存儲、處理或者傳輸的數據，情節嚴重的行為。刑法第285條第2款明確規定，犯本罪的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。
侵犯商業秘密罪
《反不正當競爭法》第九條，以不正當手段獲取他人商業秘密的行為即已經構成侵犯商業秘密。而後續如果進一步利用，或者公開該等信息，則構成對他人商業秘密的披露和使用，同樣構成對權利人的商業秘密的侵犯。
《中華人民共和國刑法》第二百八十五條非法獲取計算機信息系統數據、非法控制計算機信息系統罪，是指違反國家規定，侵入國家事務、國防建設、尖端科學技術領域以外的計算機信息系統或者採用其他技術手段，獲取該計算機信息系統中存儲、處理或者傳輸的數據，情節嚴重的行為。刑法第285條第2款明確規定，犯本罪的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。
《反不正當競爭法》第九條以不正當手段獲取他人商業秘密的行為即已經構成侵犯商業秘密。而後續如果進一步利用，或者公開該等信息，則構成對他人商業秘密的披露和使用，同樣構成對權利人的商業秘密的侵犯。

㈦ Python爬蟲工程師為什麼要花錢看電影

這個問題問的，Python爬蟲工程師為什麼能不花錢看電影，爬蟲是抓取網頁內容，又不是P2P分享，當然要去看電影也要花錢呀。

㈧ 用Python爬蟲爬取愛奇藝上的VIP電影視頻，是違法行為嗎

屬於違法行為，情節嚴重者，愛奇藝將有權對您追究法律責任

㈨ python 爬蟲可以爬vip電影嗎

可以， 不過呢，這裡面涉及到協議的解析。 算比較難得。