MongoDB

2022-11-16 12:02:31

連線

標準 URI 連線語法

通常,可以設定標準的 URI 連線語法,作為連線設定:

mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]]
  • mongodb://: 固定的格式,即指定當前的 URI 是標準的 MongoDB 連線語法
  • username:password@: 可選項,如果設定,在連線資料庫伺服器之後,驅動會嘗試登入這個資料庫
  • host1: 必須的,至少指定一個 host,它指定了要連線伺服器的地址。如果要連線副本及集,需要指定多個主機地址
  • portX: 可選的指定埠,如果不填,預設為 27017
  • /database: 如果指定賬號和密碼,連線並驗證登入指定資料庫。若不指定,預設開啟 test 資料庫
  • ?options: 連線選項,如果沒有指定資料庫,則前面需要加上 /。所有連線選項都是鍵值對 name=value,鍵值對之間通過 &; 隔開

連線選項

標準的連線格式包含了多個選項,如下所示:

  • replicaSet=name: 驗證副本集的名稱
  • slaveOk=true|false: 選擇連線主伺服器的方式
    • true: 表示有從伺服器,當 connect=direct 時會連線第一臺機器,即使這臺不是主伺服器;當 connect=replicaSet 時會傳送所有的寫請求到主並且把讀請求分佈在其他從伺服器
    • false: 表示無從伺服器,當 connect=direct 時會自動找尋主伺服器;當 connect=replicaSet 時僅連線主伺服器,並且所有的讀寫命令都連線到主伺服器
  • safe=true|false: 設定為 true 時,在執行更新操作之後,驅動都會傳送 getLastError 命令來確保更新成功
  • w=n: 驅動新增 {w: n}getLastError 命令,應用於 safe=true
  • wtimeoutMS=ms: 驅動新增 {wtimeout: ms}getLastError 命令,應用於 safe=true
  • fsync=true|false: 驅動新增 {fsync: true}getLastError 命令,應用於 safe=true
  • journal=true|false: 如果設定為 true,同步到紀錄檔(在提交到資料庫前寫入到實體中),應用於 safe=true
  • connectTimeoutMS=ms: 可以開啟連線的時間
  • socketTimeoutMS=ms: 傳送和接受 socket 的時間

連線命令格式

使用 mongosh 連線 MongoDB 時,也支援命令選項的方式新增設定:

  • --host arg: 指定資料庫地址
  • --port arg: 指定資料庫埠
  • -u [ --username ] arg: 鑑權的賬號
  • -p [ --password ] arg: 鑑權的密碼

插入檔案

插入校驗

MongoDB 會對要插入的資料進行最基本的檢查:檢查檔案的基本結構,如缺少 _id 鍵會自動新增一個、是否包含非 UTF-8 字元、是否使用了無法識別的型別、檢查檔案大小等。

其中,檢查檔案大小主要因為 MongoDB 限制了所有檔案必須小於 16MB,主要是為了防止不良的模式設計並確保效能上的一致。

要檢視檔案的 BSON 大小,可以在 shell 中執行 Object.bsonsize(doc) 檢視位元組大小。

單個插入

官方檔案:db.collection.insertOne() — MongoDB Manual

db.collection.insertOne(
    <document>,
    {
        writeConcern: <document>
    }
)

批次插入

官方檔案:db.collection.insertMany() — MongoDB Manual

db.collection.insertMany(
    [ <document 1> , <document 2>, ... ],
    {
        writeConcern: <document>,
        ordered: <boolean>
     }
)

通過傳輸 ordered=true 可以確保檔案按提供的順序插入,指定為 false 則允許 MongoDB 重新排列插入的順序以提高效能,預設為 true 值。

以有序插入的方式使用 insertMany 出現錯誤將會阻塞後續的插入動作,無需插入的方式則不管其他插入是否出現了錯誤。

刪除檔案

單個刪除

官方檔案:db.collection.deleteOne() — MongoDB Manual

db.collection.deleteOne(
    <filter>,
    {
         writeConcern: <document>,
         collation: <document>,
         hint: <document|string>    // Available starting in MongoDB 4.4
    }
)

使用 hint 引數可以指定 filter 查詢時命中的索引,這對於複雜的索引結構時可以提升部分效率。

批次刪除

官方檔案:db.collection.deleteMany() — MongoDB Manual

db.collection.deleteMany(
    <filter>,
    {
         writeConcern: <document>,
         collation: <document>,
         hint: <document|string>    // Available starting in MongoDB 4.4
    }
)

單個刪除並返回

官方檔案:db.collection.findOneAndDelete() — MongoDB Manual

db.collection.findOneAndDelete(
    <filter>,
    {
        writeConcern: <document>,
        projection: <document>,
        sort: <document>,
        maxTimeMS: <number>,
        collation: <document>
    }
)

更新檔案

更新檔案是原子操作:如果兩個更新同時發生,那麼首先到達伺服器的更新會先被執行,然後再執行下一個更新。

因此,相互衝突的更新可以安全地迅速接連完成,而不會破壞任何檔案:最後一次更新將「成功」。如果不想使用預設行為,則可以考慮使用檔案版本控制模式。

單個更新

官方檔案:db.collection.updateOne() — MongoDB Manual

db.collection.updateOne(
    <filter>,
    <update>,
    {
        upsert: <boolean>,
        writeConcern: <document>,
        collation: <document>,
        arrayFilters: [ <filterdocument1>, ... ],
        hint:  <document|string>    // Available starting in MongoDB 4.2.1
    }
)

在更新檔案的時候,比較需要注意的事 upsert 的使用,其是一種特殊型別的更新:如果找不到與篩選條件相匹配的檔案,則會以這個條件和更新檔案為基礎來建立一個新檔案;如果找到了匹配的檔案,則進行正常的更新。

因此,使用 upsert 的好處就是,可以使用同一套程式碼建立和更新檔案。

使用 upsert 時就涉及到一個 $setOnInsert 運運算元,它的作用是,只會在插入檔案時設定欄位的值,在後續的更新時不對其進行更改。

批次更新

官方檔案:db.collection.updateMany() — MongoDB Manual

db.collection.updateMany(
    <filter>,
    <update>,
    {
        upsert: <boolean>,
        writeConcern: <document>,
        collation: <document>,
        arrayFilters: [ <filterdocument1>, ... ],
        hint:  <document|string>    // Available starting in MongoDB 4.2.1
    }
)

單個替換

官方檔案:db.collection.replaceOne() — MongoDB Manual

db.collection.replaceOne(
    <filter>,
    <replacement>,
    {
        upsert: <boolean>,
        writeConcern: <document>,
        collation: <document>,
        hint: <document|string>     // Available starting in 4.2.1
    }
)

replaceOneupdateOne 操作的區別在於,updateOne 可以更新檔案中部分鍵的值,而 replaceOne 的作用是直接將整個檔案都替換掉,通常是建議使用 updateOne 而不是 replaceOne

單個更新並返回

官方檔案:db.collection.findOneAndUpdate() — MongoDB Manual

db.collection.findOneAndUpdate(
    <filter>,
    <update document or aggregation pipeline>,  // Changed in MongoDB 4.2
    {
        projection: <document>,
        sort: <document>,
        maxTimeMS: <number>,
        upsert: <boolean>,
        returnDocument: <string>,
        returnNewDocument: <boolean>,
        collation: <document>,
        arrayFilters: [ <filterdocument1>, ... ]
    }
)

使用 findOneAndUpdate 而不是 updateOne 的最大目的莫過於使用 findOneAndUpdate 可以返回更新前後文件內容。

通過設定 returnNewDocument 的值為 true 可以返回更新後的檔案,為 false 時可以返回更新前的檔案。

單個替換並返回

官方檔案:db.collection.findOneAndReplace() — MongoDB Manual

db.collection.findOneAndReplace(
    <filter>,
    <replacement>,
    {
        projection: <document>,
        sort: <document>,
        maxTimeMS: <number>,
        upsert: <boolean>,
        returnDocument: <string>,
        returnNewDocument: <boolean>,
        collation: <document>
    }
)

更新運運算元

官方檔案:Update Operators — MongoDB Manual

對於如 updateOneupdateManyfindOneAndUpdate 等更新操作,MongoDB 提供了原子的更新運運算元支援只更新部分資料。

運運算元支援以 { <operator>: { <field>: <value>,... } } 的方式使用,並且可以同時使用多個運運算元。

為避免出現歧義,不建議對同一個屬性同時使用不同的運運算元。

欄位

  • $currentDate: 將指定鍵設定為當前時間
  • $inc: 對數位型別的鍵做遞增操作
  • $min: 會比較原始值和更新值,並設定成較小值
  • $max: 會比較原始值和更新值,並設定成較大值
  • $mul: 對數位型別的鍵做乘法操作
  • $rename: 修改指定鍵的名稱
  • $set: 將指定鍵設定為指定值
  • $setOnInsert: 與 upsert 配合使用,如果更新導致檔案插入,則設定欄位的值,對修改現有檔案的更新操作無效
  • $unset: 刪除指定鍵

陣列

  • $: 充當預留位置,更新與查詢條件匹配的第一個元素
  • $[]: 充當預留位置,為匹配查詢條件的檔案更新陣列中的所有元素
  • $[<identifier>]: 充當預留位置,為匹配查詢條件的檔案更新與 arrayFilters 條件匹配的所有元素
  • $addToSet: 僅當集合中不存在該元素時,才將元素新增到陣列中
  • $pop: 傳 { $pop: { field: 1 } } 表示刪除陣列中的最後一項,傳 -1 時表示刪除第一項
  • $pull: 刪除與指定查詢匹配的所有陣列元素
  • $push: 新增一項到陣列中
  • $pullAll: 刪除列出的所有陣列元素

陣列內層

  • $each: 使用 $push$addToSet 運運算元時,增加此運運算元可以批次新增元素
  • $position: 與 $each 配合使用,可以指定新增元素的位置
  • $slice: 與 $each 配合使用,防止陣列的增長超過某個大小,傳正數表示從左到右截斷
  • $sort: 與 $each 配合使用,對新增完元素的陣列進行排序

位運算

$bit: 支援對整數值進行按位元 ANDORXOR 更新,通過使用 { $bit: { <field>: { <and|or|xor>: <int> } } } 完成更新。

批次寫操作

官方檔案:db.collection.bulkWrite() — MongoDB Manual

MongoDB 提供了 bulkwrite 命令支援批次執行命令,批次處理時在一定程度上減少了網路互動的損耗。

db.collection.bulkWrite(
    [ <operation 1>, <operation 2>, ... ],
    {
         writeConcern: <document>,
         ordered: <boolean>
    }
)

支援的以下操作:

  • insertOne
  • updateOne
  • updateMany
  • replaceOne
  • deleteOne
  • deleteMany

查詢檔案

單個查詢

官方檔案:db.collection.findOne() — MongoDB Manual

db.collection.findOne(query, projection, options)

第一個引數是查詢條件,可以使用鍵值對的方式指定需要匹配的條件,多個鍵之間是 AND 的關係。

第二個引數用於僅返回指定的鍵,既可以節省網路傳輸的資料量,也可以減少使用者端解碼檔案的時間和記憶體消耗。

第三個引數可以指定查詢到可選項,這些選項會修改查詢行為和返回結果的方式。更多檢視 官方檔案

批次查詢

官方檔案:db.collection.find() — MongoDB Manual

db.collection.find(query, projection, options)

資料庫會使用遊標返回 find 的執行結果。

對於遊標,使用者端可以限制結果的數量,跳過一些結果,按任意方向的任意鍵組合對結果進行排序等操作。更多查詢 官方檔案

下述是一些常用的遊標方法:

  • count(): 統計遊標參照的檔案數量
  • hasNext(): 查詢是否有下一個結果
  • hint(index): 指定遊標命中的索引
  • limit(number): 限制返回結果的數量
  • next(): 返回下一個搜尋結果
  • size(): 返回應用 skip()limit() 之後的查詢數量
  • skip(number): 控制跳過一定的數量,跳過大量資料會比較慢
  • sort(sort): 使用鍵值對的方式對搜尋結果進行排序

在伺服器端,遊標會佔用記憶體的資源。通常在以下情況會終止遊標及進行隨後的清理:

  • 當遊標遍歷完成匹配的結果時,它會清除自身
  • 當遊標超出使用者端的作用域時,驅動程式會向資料庫傳送終止遊標的訊號
  • 當遊標達到 10 分鐘沒有使用時,資料庫遊標會被自動銷燬

查詢運運算元

官方檔案:Query and Projection Operators — MongoDB Manual

同樣的,設定查詢條件時,MongoDB 提供了查詢運運算元支援更多的查詢方式。

比較運運算元

  • $eq: 返回等於指定值的結果,等同 { <field>: <value> } 的顯式表示
  • $gt: 返回大於指定值的結果
  • $gte: 返回大於等於指定值的結果
  • $in: 返回等於指定陣列中任意一個值的結果,對於一個鍵匹配多個值,$in$or 更方便
  • $lt: 返回小於指定值的結果
  • $lte: 返回小於等於指定值的結果
  • $ne: 返回不等於指定值的結果
  • $nin: 返回不等於指定陣列中任意一個值的結果

邏輯運運算元

  • $and: 返回同時符合查詢子句要求的結果
  • $not: 元運運算元,匹配不符合查詢語句要求的結果
  • $nor: 返回不能同時符合查詢子句要求的結果
  • $or: 返回與任意一個查詢子句的條件匹配的結果

對於普通的 $and 型別查詢,我們總是希望儘可能用最少的引數來限定結果的範圍。而 $or 型別查詢則相反,如果第一個引數能夠匹配儘可能多的檔案,則其效率最高。

元素運運算元

  • $exists: 判斷指定鍵是否存在,返回符合要求的結果
  • $type: 判斷指定鍵的資料型別,返回符合要求的結果(好的模式設計不應該出現不同型別)

表示式運運算元

  • $expr: 允許使用聚合表示式,適合用在一些比較複雜的查詢語句
  • $jsonSchema: 根據給定的 JSON 模式驗證檔案,返回符合要求的結果
  • $mod: 指定鍵的值執行模運算,返回符合要求的結果
  • $regex: 使用正規表示式對指定鍵做匹配,MongoDB 可以利用索引來查詢字首正規表示式,但不能用於不區分大小寫的搜尋
  • $text: 對使用文字索引的欄位內容執行文字搜尋,可以作為一個簡易的搜尋引擎使用
  • $where: 允許在查詢時執行任意 JavaScript 程式碼(效能較差,儘可能使用 $expr 代替)

陣列運運算元

  • $all: 匹配包含查詢中指定的所有元素的陣列
  • $elemMatch: 用於強制將查詢子句與單個陣列元素進行匹配
  • $size: 匹配指定陣列長度大小的結果

投影運運算元

投影運運算元針對的是查詢語句的第二個引數,即返回的結果。

  • $: 僅返回陣列中與查詢條件匹配的第一個元素
  • $elemMatch: 對返回結果中的陣列元素做 $elemMatch 匹配,僅返回陣列中滿足要求的元素
  • $meta: 與 $text 運運算元配合使用,返回與檔案關聯的後設資料,可以返回匹配分數,或者索引鍵
  • $slice: 對返回結果中的陣列做擷取返回

特殊的 null 值

在 MongoDB 中,null 是一個比較特殊的值,它可以與自身匹配。也就是說了,通過 { field: null } 可以查詢出 field 鍵為 null 的檔案。

不過,更特殊的是,null 同樣會匹配缺少這個鍵值的檔案。也就是說,{ field: null } 可以查詢出不包含 field 鍵的檔案。

如果僅想匹配鍵值為 null 的檔案,則需要檢查該鍵的值是否為 null,並且通過 $exists 條件確認該鍵已存在,如 { field: { $eq: null, $exists: true } } 就是這樣的查詢條件組。