用flask實現(xiàn)的圖片小站

pf_miles 發(fā)布于2019-07-25 13:22 / 2704人閱讀

摘要：經(jīng)常逛豆瓣，請不要害羞等幾個小組亮瞎了我的雙眼，不能直視，三觀盡毀。豆瓣對訪問次數(shù)有限制，我用了上的代理，獲取這些代理以后需要驗證是否是匿名代理，并且驗證訪問豆瓣的速度，目前濾掉了連接和讀取時間超過的代理。

都說豆瓣妹紙好，誰約誰知道。。。

http://dadanshai.com

經(jīng)常逛豆瓣，請不要害羞等幾個小組亮瞎了我的雙眼，不能直視，三觀盡毀。在內(nèi)心里默默念道以后再也不上這些小組了。..., 可意識堅定敵不過菇?jīng)霭谆ɑǖ拇笸取Ｈ缓竺刻炀头@些帖子，可翻這些帖子太花時間了。我只喜歡看菇?jīng)霾幌矚g看評論神馬的，然后就動手把小組里的圖片抓下來然后以瀑布流的形式展示。獨樂樂，不如眾樂樂，但不要叫我雷鋒...

這些菇?jīng)鰰竦某叨葹槭裁催@么大啦？我想原因大概如下：

豆瓣是一個陌生人社區(qū)，小組里的人基本上在現(xiàn)實社會中沒有交集，所以基本上沒有心理負擔。

這些菇?jīng)鱿胙杆俚淖屗肆私猓J可。菇?jīng)龀３f如果評論超過500樓，會上高清、正面的大圖，喜歡的數(shù)目、評論的數(shù)目、yp豆油的數(shù)目她們都很在意的，這些數(shù)字反應(yīng)了他人對她外表的認可。

還有一部分是偶爾空虛寂寞冷發(fā)圖的。

下面說說大膽曬的技術(shù)實現(xiàn)細節(jié)。

抓取用scrapy，每一個小時抓取一次，然后把結(jié)果保存為json文件。豆瓣對訪問次數(shù)有限制，我用了http://www.samair.ru/proxy-by-country/China-01.htm上的代理，獲取這些代理以后需要驗證是否是匿名代理，并且驗證訪問豆瓣的速度，目前濾掉了連接和讀取時間超過3s的代理。

定時腳本然后把數(shù)據(jù)錄入到數(shù)據(jù)庫中，把圖片存放到beansdb中。

網(wǎng)站用了我最喜歡的flask，django太笨重了有木有，除了可以參考flask的官方文檔外還可以參考http://blog.miguelgrinberg.com/post/the-flask-mega-tutorial-part-i-hello-world，前端用了bootstrap,masonry。

部署采用nginx+gunicorn, gunicorn作為python-cgi的容器，可以參考http://www.onurguzel.com/how-to-run-flask-applications-with-nginx-using-gunicorn/, 順便吐槽下開始準備用uwsgi，在網(wǎng)上找了半天資料都沒有搞定然后轉(zhuǎn)投gunicorn了..

后臺的人工審核，定時會把漏點或低質(zhì)的圖片刪掉。

網(wǎng)址是http://dadanshai.com

我的豆瓣是http://www.douban.com/people/yytv5/, 羞澀了，掩面。。。