文章庫ARTICLE COLUMN
摘要：是這樣的有一次想要斗圖配圖就在網上搜索表情包然后發現了一個表情巨多的網站不小心動起了邪念產生了興趣那就把它們存下來吧用請求了一下發現這個網站沒有做反爬發現這里有的頁面簡單的切換一下頁面可以發現第一頁的鏈接是這樣的所以以此類推構建一下所...
摘要：其次，解釋器的主循環，一個名為的函數，讀取字節碼并逐個執行其中的指令。所有線程都運行相同的代碼，并以相同的方式定期從它們獲取鎖定。無論如何，其他線程無法并行運行。 概述 如今我也是使用Python寫代碼好多年了，但是我卻很少關心GIL的內部機制...
摘要：基于鏡像構建自己的鏡像官方鏡像地址拉取官方的鏡像交互式方式生成一個容器進入交互式容器，查看當前版本設置的阿里云鏡像源確認一下是否配置成功我們的使用的是系統使用的是包管理器命令如默認的鏡像源也比較慢，我們也換成國內的設 基于alpine鏡像構...
摘要：可視化監控爬蟲最近接到新的需求做可視化監控爬蟲，搞了個小時終于成了。。。該端口不應該需要額外的權限。即可啟動，默認登錄名和密碼代碼借用崔慶才老師的代碼鏈接最后結果意外發現的可視化界面也呈現出了監控結果。 可視化監控爬蟲 最近接到新的需...
摘要：另外，由于在利用寫文件時只使用了線程可重入鎖，所以只能保證線程安全，多進程情況下會有并發寫入的問題。解決方案重載類將也設為帶時間后綴的形式，取消文件重名操作，僅在需要的時候關閉當前，打開一個新文件名的用文件鎖替換線程鎖代碼如下 背景 ...
摘要：返回值函數可以且應該被視為一個獨立的小程序。以下的函數是冪等的無論何時調用，其返回值都是。 與多數現代編程語言一樣，在 Python 中，函數是抽象和封裝的基本方法之一。你在開發階段或許已經寫過數百個函數，但并非每個函數都生而平等。寫出「糟糕...
摘要：面試的心得體會簡歷制作我做了兩份簡歷，用兩個手機賬號，兩個簡歷名字，分別在各個招聘網站投了雙份簡歷，一個是數據分析的簡歷一個是全棧開發的簡歷，我真正接觸快年，不管是學習還是工作學到的東西，這兩年大概掌握了前端爬蟲數據分析機器學習技術，...
摘要：二面休息過后，就來了第二位面試官，面我運維的，運開嘛，如果沒有運維知識肯定是不行的。后來的對話中，面試官也表示，可能之前做的更多的是的工作，對于容器這塊不熟悉關系也不是很大。整個三面大概也持續了要有不到一個小時。 今天給大家分享我曾經...
摘要：為了以后的網絡請求操作方向，我們這次簡單的進行一些代碼的封裝操作。接下來，就是比較重要的爬蟲代碼部分了。這一次，我們可以簡單的使用一下類和對象，并且加上簡單的多線程操作。最后附上部分的代碼，讓我們的代碼跑起來一會過后，就慢慢收圖吧 獲...
摘要：今天，我就用數據告訴你，書中到底有沒有黃金屋。數據來源利用的拉勾爬蟲爬取了拉勾杭州站，要求年工作經驗的條招聘數據。原始數據的薪資是一個區間，將區間拆分為最低與最高兩個變量。大專本科碩士工資單位月最低工資分布最高薪資 北起漠河南至曾母暗...
from collections import Counter import numpy as np l = ["a", "b", "c", "d", "a", "v", "s", "d", "c", "a...
摘要：總之，要永遠做個學習者，但不僅僅只做學習者了解并踐行學習實踐階段循環任何創造性學科的學習都可以分兩個階段，學習階段和構建階段，彼此不斷重復。 初級開發者學Python容易陷入茫然，面對市面上種類眾多的編程語言和框架，重要的是堅持自己的選擇，...
摘要：正則表達式語法字符與字符類特殊字符以上特殊字符要想使用字面值，必須使用進行轉義字符類包含在中的一個或者多個字符被稱為字符類，字符類在匹配時如果沒有指定量詞則只會匹配其中的一個。 1. 正則表達式語法 1.1 字符與字符類 1 特殊字符：.^$?+*{}|...
摘要：平臺自帶導出結果的功能，但是運營在使用導出的時候，直接打開文件總會發現中文亂碼的情況，小弟現將發現的解決方案提供在此，下面搞起來導出默認編碼為，如果需要修改編碼類型需要修改兩個地方。修改修改把原來的替換成重啟搞定 superset平臺自帶csv...
摘要：不同的人的路線圖版本會有所不同。尋找答案從一無所知到無所不知如果你在這個過程中多次遇到困難，在知難而退之前努力嘗試解決問題。并不是成為一個全面的開發人員所需要的唯一技能。首先進行一兩個月的學習階段，然后進入一個月的構建階段。 初級開發...
摘要：嵌套可以嵌套使用以表示對象間的關系如外鍵關系。在下面的例子中，和對象是一對多的關系必須使用或參數避免無限遞歸也可以使用導入模塊的方式傳遞嵌套，如自嵌套給傳遞字符串參數表示和對象本身的關系 schema嵌套 schema可以嵌套使用以表示對象間的關...
摘要：有三種方式創建自定義的。下面的例子判斷某個對象是否是某個對象的作者，以及的屬性是否出現單詞自定義錯誤信息字段驗證產生的錯誤信息可以在類級別或實例級別配置。在類級別時，可以定義為錯誤碼和錯誤信息的字典映射在類實例化時，給參數傳參對象 有...
摘要：創建實例時如果傳遞了，表示需要接收輸入數據集合，裝飾器注冊預處理和后處理方法時需要傳遞參數。 預處理和后處理方法 數據的預處理和后處理方法通過pre_load, post_load, pre_dump和post_dump裝飾器注冊： from marshmallow import Schema, fields, ...
摘要：為了寫好爬蟲，我們需要準備一個火狐瀏覽器，還需要準備抓包工具，抓包工具，我使用的是自帶的，加上，這兩款軟件的安裝和使用，建議你還是學習一下，后面我們應該會用到。 妹子圖網站----前言 從今天開始就要擼起袖子，直接寫Python爬蟲了，學習語言...
摘要：辛苦面試了好多家大小公司，在面試中也發現了自己的很多不足，也有很多的感悟，這里記錄一下，為的是之后的學習與提高更有針對性。面試中的的題目就是準備不足的充分表現。其實大部分面試官都不會給什么反饋，只是機械地聽答案，記錄評價。 辛苦面試了...
摘要：爬蟲分析首先，我們已經爬取到了多的用戶個人主頁，我通過鏈接拼接獲取到了在這個頁面中，咱們要找幾個核心的關鍵點，發現平面拍攝點擊進入的是圖片列表頁面。 簡介 上一篇寫的時間有點長了，接下來繼續把美空網的爬蟲寫完，這套教程中編寫的爬蟲在實...
摘要：類的繼承類繼承有三種調用方式，其實是有區別的，聽我慢慢道來第一種父類方法參數直接調用第二種方法參數直接調用在誰的類下調用，就找此類對應的下一個就是要繼承的第三種方法參數找類名對應的的下一個，就是繼承的，一般寫本身的類名上下文管理器上下...
摘要：美空網數據簡介從今天開始，我們嘗試用篇博客的內容量，搞定一個網站叫做美空網網址為，這個網站我分析了一下，我們要爬取的圖片在下面這個網址然后在去分析一下，我需要找到一個圖片列表頁面是最好的，作為一個勤勞的爬蟲，我找到了這個頁面列表頁面被...
摘要：以下這些項目，你拿來學習學習練練手。當你每個步驟都能做到很優秀的時候，你應該考慮如何組合這四個步驟，使你的爬蟲達到效率最高，也就是所謂的爬蟲策略問題，爬蟲策略學習不是一朝一夕的事情，建議多看看一些比較優秀的爬蟲的設計方案，比如說。 （...
ChatGPT和Sora等AI大模型應用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關性能圖表。同時根據訓練、推理能力由高到低做了...
89542767
社區管理員
白馬嘯西風