Python潮流週刊#5:並行一百萬個任務要用多少記憶體?

2023-06-03 18:00:16

你好,我是貓哥。這裡記錄每週值得分享的 Python 及通用技術內容,部分為英文,已在小標題註明。(標題取自其中一則分享,不代表全部內容都是該主題,特此宣告。)

部落格原文:https://pythoncat.top/posts/2023-06-03-weekly5

文章&教學

1、並行一百萬個任務要用多少記憶體?(英文)

文中測試了主流的程式語言(Rust、Go、Java、C#、Python、Node.js 和 Elixir),依次執行 1 個、1 萬、10 萬和 100 萬個任務,統計了這些語言所消耗的記憶體。隨著任務量增加,它們的排名出現了較大變化,讓我感覺挺意外的。

2、使用這些方法讓你的 Python 並行任務執行得更好 (英文)

使用 asyncio 有什麼最佳實踐呢?這篇文章介紹了 asyncio.gather、asyncio.as_completed 和 asyncio.wait API,還介紹了 Python 3.11 中引入的新 asyncio.TaskGroup 特性。(附一篇不完整的譯文

3、上岸第一劍,程式設計語法必修:Python 並行程式設計

一篇長文,以四個章節(網路程式設計、多執行緒、多程序、協程)全面介紹了 Python 並行程式設計的知識點。

4、Python 多執行緒程式設計的終極指南 (英文)

也是一篇長文,介紹了 Python 多執行緒程式設計的方方面面,真的是一份終極指南。

5、程式語言是如何實現並行的之並行模型篇

依然是長文,介紹了常見的並行模型及不同程式語言是如何實現的。它的姊妹篇是《程式語言是如何實現並行的之作業系統篇》,都是圖文並茂,資料翔實。

6、鵝廠程式設計師的 9 個生存法則

作者分享了自己工作多年對程式碼設計、架構設計和工作思維的經驗,比如 DRY 原則、SOLID 原則、高可用設計、如何想盡一切辦法「偷懶」,等等。(文中提到了物件導向程式設計的原則,這裡順便推薦另一位鵝廠程式設計師的《Python工匠》系列的第 12-14 章)

7、一覽 Python 3.12!PEP 701 —— f-string 語法規範化

f-string 是 Python 最好用的特性之一,但它也有諸多限制。即將釋出的 3.12 會對 f-string 作語法規範化,詳情可檢視 PEP-701 。這裡分享的文章帶大家直觀地感受了這個改動在程式碼的詞法解析(lexing)層面的不同。

8、PyCharm:新使用者介面的五大亮點 (英文)

大家都用上 PyCharm 新的 UI 了麼?這份官方教學介紹了新 UI 的使用方法及亮點。

9、PEP-594 已被實現:Python 3.13 將移除 20 個標準庫 (英文)

Python 3.12 正式版本還要幾個月才釋出,這邊 3.13 已經迫不及待地移除了 20 個標準庫。值得一提的是,2to3 專案及 lib2to3 模組也將會被移除。

10、Grasshopper:一個用於負載測試的開源 Python 庫 (英文)

Locust 是 Python 最主流的分散式負載測試庫,而文章介紹的 Grasshopper 是新開源的基於 Locust 與 Pytest 的更全面的效能測試庫。

11、Python 裝飾器:用包裝巫術增強你的程式碼 (英文)

Python 裝飾器是增強程式碼行為和靈活性的強大工具,文章內容從基礎到高階,是不錯的學習材料。

12、三個練手專案的實戰教學:

  • 用 Python 開發 Telegram 機器人 (英文):開發 tg 機器人,教學使用 Tornado 作後端,專案部署在 Render 平臺上
  • 花一週末用 Python 實現 DNS (英文):教學指導實現一個 DNS 解析器,總程式碼僅約 200 行,但作者給出了很多學習材料和程式碼講解,你能學到的絕對夠多。另外,教學最後還有 7 個練習題,可以進一步開發 DNS 解析器的功能。(Julia Evans 是一個寶藏作者,部落格網站pandas-cookbook ,等等,強烈推薦!!!)
  • 用 Python 構建你自己的 Git (英文):這個專案我要給它滿分!教學網站設計得獨特而酷炫,從最小可行專案起步,逐漸新增程式碼,手把手教你實現 Git 的各種功能。每章都使用 Git 的差異比對方式,明確告訴你增刪了哪些程式碼,良心滿滿,全網估計找不著第二家!

專案&資源

1、frogmouth:一個在終端中瀏覽 Markdown 的工具 (英文)

frogmouth 可以開啟本地或 URL 中的 md 檔案,具有類似瀏覽器的導覽列、歷史記錄、書籤和目錄。

2、使用 Meta AI 的 SAM 進行影象分割的 Python GUI (英文)

一個 Python 桌面程式,為 Meta 公司的 AI 模型 SAM 提供了圖形介面,可以提取照片裡面的物體。

3、GirlfriendGPT:你的人工智慧伴侶 (英文)

你有物件了麼?這個入門專案使用 ChatGPT 構建一個 AI 伴侶, 擁有個性化的人格、聲音以及自拍照!

4、Python 進化之路.pptx

一份技術分享的 PPT 材料,介紹了 Python 3.7-3.11 在效能、型別體驗及開發者體驗方面的優化。

5、soundstorm-pytorch:在 Pytorch 中實現 SoundStorm (英文)

SoundStorm 是 Google Deepmind 新提出的一個高效的、非自迴歸的音訊並行生成模型。soundstorm-pytorch 使用 Pytorch 實現了這個模型。

6、asynq:Python 的非同步程式設計庫 (英文)

asynq 是 Quora 開發的非同步程式設計庫,專注於對外部服務的批次處理請求。對於 memcache、redis 等儲存服務,它發起一次請求批次獲取多個 key,比發出多次請求每次獲取一個 key 要快得多。

7、Propan:功能強大且易用的 Python 非同步 Web 框架 (英文)

一個基於 pydantic、fastapi 和 pytest 的非同步框架,簡化了 MQ 的程式碼整合,並提供了一個有用的開發工具包。其特點是基於訊息架構(Messaging Architecture)設計,所以它還是個宣告式的 MQ 框架。

8、talkGPT4All:基於 GPT4All 的一個語音聊天程式

它利用 OpenAI 的 Whisper 模型將使用者輸入的語音轉換為文字,再呼叫 GPT4All 的語言模型得到回答文字,最後利用文字轉語音(TTS)的程式將回答文字朗讀出來。

9、lightly:一個用於影象自監督學習的 Python 庫 (英文)

這是一個用於自我監督學習的計算機視覺框架,以類似 PyTorch 的風格編寫,支援使用 PyTorch Lightning 進行分散式訓練。

播客&視訊

1、硬地駭客:獨立開發賺錢難?你需要正確的build策略

探討了在海外獨立開發者中最常用的 build in public 策略。我對這期節目很有共鳴,打算針對本週刊的一些資料、週刊的創作流程、個人知識輸入及創作體系等話題,不久會做一些分享。

2、程式碼之外:離開微軟、人生在於體驗?閱讀的意義、主動和被動的人生

這是一檔新上線的程式設計師閒聊播客節目,主題很隨性,但常常有能打動人的片段。這裡分享的是第一期,它目前已更新到第三期,第三期請的嘉賓是 Vue 的作者尤雨溪!

3、Changelog #526:與你的朋友一起 Git (英文)

這期播客聊了一些 Git 工具,如 Git-Heat-Map、Git-Sim、git-bug、GitUI,等等。因為有兩個工具是用 Python 編寫的,因此也聊了一些 Python 安裝依賴包的話題。Brett Cannon 針對主播們的錯誤用法,寫了一篇迴應部落格 ,主要介紹了 pipx、.pyz 檔案以及系統包管理器的正確使用。

4、#418:如何在 Python 程式中加密儲存 (英文)

「Talk Python To Me」的這期播客探討如何處理程式要用到的敏感資訊,同時也聊到了日常個人密碼的儲存方案。我正巧本週還看到一篇《2023-21: 我的 1Password 金鑰管理實踐》,它系統介紹了密碼管理、SSH/Shell 整合和 CI/CD 應用等內容。

5、吳恩達三門新的生成式 AI 課程 (英文)

使用 OpenAI 的 ChatGPT API 構建系統、LangChain 用於開發 LLM 應用、Diffusion模型是如何工作的。

6、MIT 的三門 Python 相關課程 (英文)

麻省理工學院的免費課程:Python 電腦科學和程式設計簡介、經典機器學習、深度學習。

贊助&支援

內容創作不易,如果你覺得有幫助,請隨意讚賞買杯咖啡或在愛發電進行支援!如果你喜歡本週刊,請轉發分享給其他需要的同學~

另誠邀贊助者,歡迎通過私信聯絡。

關於週刊

Python 潮流週刊,精心篩選國內外的 200+ 資訊源,為你挑選最值得分享的文章、教學、開源專案、軟體工具、播客和視訊、熱門話題等內容。願景:幫助所有讀者精進 Python 技術,並增長職業和副業的收入。

訂閱方式:Python貓 | RSS | 郵件 | Github | Telegram | Twitter