Python3，掌握這20個小技巧，小菜雞瞬間變成老碼農~
2022-01-13 08:00:21
20個編碼小技巧
1、引言
小屌絲：魚哥，最近博文更新頻率低了
小魚：這是你的錯覺
小屌絲：但是你都沒有推播博文資訊給我啊
小魚：因為我最近在搞大事情
小屌絲：嗯？？？
小魚：透露一點訊息：準備另一個領域的專欄了。
小屌絲：此時小屌絲的心情，
小魚：沒錯，因為最近在備戰，所以，索性就把所有的姿勢 知識重新整理成專欄，這樣既方便我自己查閱，也方便大家漲知識。
小屌絲：那能不能透露是哪個領域的專欄呢？
小魚：嗯~ 暫時不能說，但是，一定是縱向的，有深度的，有內涵的
小屌絲：還賣上關子了，這給你能耐的。
小魚：總是要有期待嘛！ ！
小屌絲：強人所難不是我性格，既然這樣，那給我分析一點提升我編碼能力的知識點吧。
小魚：唉~ ~ 就知道你會這樣…幸好我早有準備
今天我們不去搞 "簡單"的編碼，
而是來搞點提升B~格的編碼技巧。
2、常用工具
在實際的編碼中，我們會常用到一些工具，例如 csv檔案、計數器、等。
雖然基本的使用大家都沒得說，但是，一些小技巧，還是要掌握的。
2.1 csv檔案讀寫
程式碼展示 一：
讀取csv檔案
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import csv
'''無header的讀寫'''
# newline=''，讓Python不將換行統一處理
with open(name, 'rt', encoding='utf-8', newline='') as f:
for row in csv.reader(f):
# CSV讀到的資料都是str型別
print(row[0], row[1])
with open(name, mode='wt') as f:
f_csv = csv.writer(f)
f_csv.writerow(['symbol', 'change'])
'''無header的讀寫'''
with open(name, mode='rt', newline='') as f:
for row in csv.DictReader(f):
print(row['symbol'], row['change'])
with open(name, mode='wt') as f:
header = ['symbol', 'change']
f_csv = csv.DictWriter(f, header)
f_csv.writeheader()
f_csv.writerow({'symbol': xxx, 'change': xxx})
程式碼展示 二：
修改csv檔案內容最大上限
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import sys
'''修改csv檔案上限，防止因為csv檔案過大導致讀取失敗'''
csv.field_size_limit(sys.maxsize)
程式碼展示 三：
讀取 \t 分割的資料
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import csv
'''讀取 \t 分割的資料'''
f = csv.reader(f, delimiter='\t')
2.2 計數器
程式碼展示 一：
統計一個可迭代物件中每個元素出現的次數
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import collections
#建立
collections.Counter(iterable)
#頻次
#key出現頻次
collections.Counter[key]
#返回n個出現頻次最高的元素和其對應出現頻次，如果n為None，返回所有元素
collections.Counter.most_common(n=None)
#插入/更新
collections.Counter.update(iterable)
#counter加減
counter1 + counter2; counter1 - counter2
#檢查兩個字串的組成元素是否相同
collections.Counter(list1) == collections.Counter(list2)
2.3 Dict
2.3.1 帶預設值的 Dict
程式碼展示 一：
當存取不存在的 Key 時，defaultdict 會將其設定為某個預設值
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import collections
#當第一次存取dict[key]時，會無引數呼叫type，給dict[key]提供一個初始值
collections.defaultdict(type)
2.3.2 有序的 Dict
程式碼展示 一：
有序 Dict
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import collections
#迭代時保留原始插入順序
collections.OrderedDict(items=None)
2.4 迭代器工具
程式碼展示 一：
itertools 中子序列工具
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import itertools
'''有限序列迭代器'''
#對迭代器進行切片
itertools.islice(iterable, start=None, stop, step=None)
# islice('ABCDEFG', 2, None) -> C, D, E, F ,G
# 過濾掉predicate為False的元素
itertools.filterfalse(predicate, iterable)
# filterfalse(lambda x: x < 5, [1, 4, 6, 4, 1]) -> 6
# 當predicate為False時停止迭代
itertools.takewhile(predicate, iterable)
# takewhile(lambda x: x < 5, [1, 4, 6, 4, 1]) -> 1, 4
# 當predicate為False時開始迭代
itertools.dropwhile(predicate, iterable)
# dropwhile(lambda x: x < 5, [1, 4, 6, 4, 1]) -> 6, 4, 1
# 根據selectors每個元素是True或False進行選擇
itertools.compress(iterable, selectors)
# compress('ABCDEF', [1, 0, 1, 0, 1, 1]) -> A, C, E, F
程式碼展示 二：
序列排序
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import itertools
sorted(iterable, key=None, reverse=False)
# 按值分組，iterable需要先被排序
itertools.groupby(iterable, key=None)
# groupby(sorted([1, 4, 6, 4, 1])) -> (1, iter1), (4, iter4), (6, iter6)
# 排列，返回值是Tuple
itertools.permutations(iterable, r=None)
# permutations('ABCD', 2) -> AB, AC, AD, BA, BC, BD, CA, CB, CD, DA, DB, DC
# 組合，返回值是Tuple
itertools.combinations(iterable, r=None)
itertools.combinations_with_replacement(...)
# combinations('ABCD', 2) -> AB, AC, AD, BC, BD, CD
程式碼展示 三：
序列合併
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import itertools
import heapq
# 多個序列直接拼接
itertools.chain(*iterables)
# chain('ABC', 'DEF') -> A, B, C, D, E, F
# 多個序列按順序拼接
heapq.merge(*iterables, key=None, reverse=False)
# merge('ABF', 'CDE') -> A, B, C, D, E, F
# 當最短的序列耗盡時停止，結果只能被消耗一次
zip(*iterables)
# 當最長的序列耗盡時停止，結果只能被消耗一次
itertools.zip_longest(*iterables, fillvalue=None)
3、易混淆操作
3.1 隨機取樣
程式碼展示 一：
有放回隨機取樣
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import random
# 長度為k的list，有放回取樣
random.choices(seq, k=1)
程式碼展示 二：
無放回隨機取樣
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import random
# 長度為k的list，無放回取樣
random.sample(seq, k)
3.2 lambda 函數
程式碼展示 一：
lambda 函數的引數
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
# x的值在函數執行時被繫結
func = lambda y: x + y
# x的值在函數定義時被繫結
func = lambda y, x=x: x + y
3.3 淺拷貝與深拷貝
程式碼展示 一：
copy 與deepcopy
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import copy
# 只複製最頂層
y = copy.copy(x)
# 複製所有巢狀部分
y = copy.deepcopy(x)
程式碼展示 二：
複製和變數別名結合在一起時，易混淆
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import copy
a = [1, 2, [3, 4]]
# Alias.
b_alias = a
assert b_alias == a and b_alias is a
# Shallow copy.
b_shallow_copy = a[:]
assert b_shallow_copy == a and b_shallow_copy is not a and b_shallow_copy[2] is a[2]
# Deep copy.
b_deep_copy = copy.deepcopy(a)
assert b_deep_copy == a and b_deep_copy is not a and b_deep_copy[2] is not a[2]
注：
對別名的修改會影響原變數，淺拷貝中的元素是原列表中元素的別名；
而深層拷貝是遞迴的進行復制，對深層拷貝的修改不影響原變數。
3.4 == 和 is
程式碼展示 一：
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
# 兩參照物件是否有相同值
x == y
# 兩參照是否指向同一物件
x is y
3.5 判斷型別
程式碼展示 一：
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
# 忽略物件導向設計中的多型特徵
type(a) == int
# 考慮了物件導向設計中的多型特徵
isinstance(a, int)
3.6 字串搜尋
程式碼展示 一：
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
# 如果找不到返回-1
str.find(sub, start=None, end=None); str.rfind(...)
# 如果找不到丟擲ValueError異常
str.index(sub, start=None, end=None); str.rindex(...)
3.7 List 反向索引
程式碼展示 一：
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
#向前索引，下標從0開始
print(a[-1], a[-2], a[-3])
#反向索引，下標也要從0開始
print(a[~0], a[~1], a[~2])
4、高效能編碼於偵錯
4.1 輸出錯誤和警告資訊
4.1.1 向標準錯誤輸出資訊
程式碼展示 一：
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import sys
#向標準錯誤輸出資訊
sys.stderr.write('')
4.1.2 輸出警告資訊
程式碼展示 一：
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
import warnings
#輸出警告資訊
warnings.warn(message, category=UserWarning)
4.1.3 控制警告訊息的輸出
程式碼展示 一：
# 輸出所有警告，等同於設定warnings.simplefilter('always')
>>python -W all
# 忽略所有警告，等同於設定warnings.simplefilter('ignore')
>>python -W ignore
>
4.2 程式碼中測試
程式碼展示 一：
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
'''
為了偵錯，我們想在程式碼中加一些程式碼，通常是一些 print 語句
'''
# 在程式碼中的debug部分
if __debug__:
pass
偵錯結束，在執行命令中輸入 -0，忽略此部分程式碼
>> python -0 main.py
4.3 程式碼風格檢查
程式碼展示 一：
使用pylint進行程式碼風格和語法檢查，能在執行之前發現一些錯誤資訊
>> pylint main.py
4.4 程式碼耗時
程式碼展示 一：
測試耗時
>> python -m cProfile main.py
程式碼展示 二：
測試某塊程式碼耗時
# -*- coding: utf-8 -*-
# @ auth : carl_DJ
# @ time : 2022-01-11
# 程式碼塊耗時定義
from contextlib import contextmanager
from time import perf_counter
@contextmanager
def timeblock(label):
tic = perf_counter()
try:
yield
finally:
toc = perf_counter()
print('%s : %s' % (label, toc - tic))
# 程式碼塊耗時測試
with timeblock('counting'):
pass
程式碼耗時優化的原則，如下：
- 專注於優化產生效能瓶頸的地方，而不是全部程式碼。
- 避免使用全域性變數。區域性變數的查詢比全域性變數更快，將全域性變數的程式碼定義在函數中執行通常會快 15%-30%。
- 避免使用.存取屬性。使用 from module import name 會更快，將頻繁存取的類的成員變數 self.member 放入到一個區域性變數中。
- 儘量使用內建資料結構。str, list, set, dict 等使用 C 實現，執行起來很快。
- 避免建立沒有必要的中間變數，和 copy.deepcopy()。
- 字串拼接，例如 a + ‘:’ + b + ‘:’ + c 會創造大量無用的中間變數，’:’,join([a, b, c]) 效率會高不少。另外需要考慮字串拼接是否必要，例如 print(’:’.join([a, b, c])) 效率比 print(a, b, c, sep=’:’) 低。
5、其他小技巧
5.1 argmin 和 argmax
程式碼展示 一：
items = [2, 1, 3, 4]
#計算 ‘arg’ 最小值 ‘val’ 價值
argmin = min(range(len(items)), key=items.__getitem__)
#計算 ‘arg’ 最大值 ‘val’ 價值
argmax = max(range(len(items)), key=items.__getitem__)
5.2 轉置二維列表
程式碼展示 一：
A = [['a11', 'a12'], ['a21', 'a22'], ['a31', 'a32']]
#陣列
A_transpose = list(zip(*A))
#列表
A_transpose = list(list(col) for col in zip(*A))
5.3 一維列表展開為二維列表
程式碼展示 一：
A = [1, 2, 3, 4, 5, 6]
list(zip(*[iter(A)] * 2))