MongoDB 陣列查詢($elemMatch)、更新操作(預留位置$)詳解

2023-03-08 06:01:36

前言和官方檔案

前言:

MongoDB中涉及到陣列欄位的查詢和更新很常用,抽空把自己開發工作中常遇到的場景拿出來並結合官方檔案小結一下。

有說的不對的地方,歡迎指出交流探討,也希望這篇筆記能夠幫到你。 

可以轉載,但請註明出處。  

之前自己寫的SpringBoot整合MongoDB的聚合查詢操作,感興趣的可以點選查閱。

https://www.cnblogs.com/zaoyu/p/springboot-mongodb.html

 

官方檔案:

$elemMatch: https://www.mongodb.com/docs/manual/reference/operator/query/elemMatch/

$update: https://www.mongodb.com/docs/manual/reference/operator/update/positional/#mongodb-update-up.-

測試環境:    MongoDB 5.0.9

一、Array(陣列)相關的Query(查詢)

官方定義和語法格式

陣列的查詢多數情況結合$elemMatch操作符一起查詢,也可以不使用。 下面分別是兩種情況的演示說明。

1.1 是直接查詢,不使用$elemMatch, 1.2是帶$elemMatch的查詢。 

具體語法格式見1.1 和1.2開頭。 

 

1.1 直接查詢 (普通的find)

就是直接 db.collection.find({queryExpression})

以官方提供的Demo來說明

// 1. 插入多條資料
db.inventory.insertMany([
   { item: "journal", qty: 25, tags: ["blank", "red"], dim_cm: [ 14, 21 ] },
   { item: "notebook", qty: 50, tags: ["red", "blank"], dim_cm: [ 14, 21 ] },
   { item: "paper", qty: 100, tags: ["red", "blank", "plain"], dim_cm: [ 14, 21 ] },
   { item: "planner", qty: 75, tags: ["blank", "red"], dim_cm: [ 22.85, 30 ] },
   { item: "postcard", qty: 45, tags: ["blue"], dim_cm: [ 10, 15.25 ] }
]);
// 2.1 陣列元素完全匹配查詢(值、值的個數、順序,都要完全一致才返回)。 
// 這個語句就是查詢tags陣列下只且只有red/blank兩個值的元素,且順序要為red、blank。
db.inventory.find( { tags: ["red", "blank"] } )
// 結果可見下圖
// 2.2 陣列元素部分匹配查詢(只要陣列元素中的值,部分值匹配要查詢的條件,就可以返回,無關順序), 要使用  $all 操作符
// 這個語句意思是說,查詢tags陣列中,只要元素值裡面有red和blank(注意,是多個條件同時存在),就返回,無關順序。
db.inventory.find( { tags: { $all: ["red", "blank"] } } )
// 結果可見下圖
// 2.3 陣列元素單個值匹配和範圍查詢
// 比如查詢元素中包含某個值的檔案,或者元素中存在位於查詢範圍區間的值的檔案。 
// 2.3.1 這個是查詢元素中存在red值的檔案,注意,這裡不像上面的完全匹配或者部分匹配時使用中括號,而是直接把值帶進去。 
db.inventory.find( { tags: "red" } )

// 2.3.2 這個是查詢陣列元素中存在符合區間範圍的值的元素(類似部分匹配),一般會傳入$gt/$lt/$gte/$lte/$ne/$eq之類的匹配範圍操作符
// 這裡是查詢 dim_cm陣列中,存在大於25的值的元素。 
db.inventory.find( { dim_cm: { $gt: 25 } } )

2.3.1和2.3.2結果見下圖

當然也可以使用多條件匹配查詢,就是下文要講到的$elemMatch查詢。 
大概格式和說明如下,比如 db.inventory.find( { dim_cm: { $elemMatch: { $gt: 22, $lt: 30 } } } )  說明要查詢dim_cm中存在元素值大於22小於30的檔案。 
具體看下文。

// 2.1的查詢結果

// 2.2的查詢結果

//  2.3.1 的查詢結果

 

 // 2.3.2 的查詢結果

 

以上就是基本的陣列查詢,如果涉及到巢狀陣列(就是陣列裡面巢狀著物件),無非是在查詢條件那裡使用物件形式或者多層級欄位來查詢。

比如存在這樣的資料:{ item: "journal", instock: [ { warehouse: "A", qty: 5 }, { warehouse: "C", qty: 15 } ] }  .... 這裡為了省事,就列一個。

instock陣列欄位儲存著物件

// 範例查詢語句,意思是說查詢instock陣列中的元素存在等於 { warehouse: "A", qty: 5 } 的檔案。  
db.inventory.find( { "instock": { warehouse: "A", qty: 5 } } )
// 意思是說查詢instock陣列中元素物件中的qty 存在大於等於20的檔案。
db.inventory.find( { 'instock.qty': { $lte: 20 } } )

官方的說明、Demo地址: https://www.mongodb.com/docs/manual/tutorial/query-array-of-documents/

 

1.2 使用$elemMatch操作符查詢,本文側重該方式。 

官方說明:The $elemMatch operator matches documents that contain an array field with at least one element that matches all the specified query criteria.

就是說$elemMatch是用來查詢陣列欄位的,如果陣列欄位中有至少1個元素匹配查詢規則,則查詢出來這個陣列。 

// 官方標準語法
{ <field>: { $elemMatch: { <query1>, <query2>, ... } } }
// field是陣列欄位名,在$elemMatch中傳入查詢條件,可多個,用逗號隔開。 

舉例說明

// 先插入資料
db.scores.insertMany( [
{ _id: 1, results: [ 82, 85, 88 ] },
{ _id: 2, results: [ 75, 88, 89 ] }
] )

// 來個最基本的$elemMatch使用演示
// 語句說明,查詢 results陣列中存在大於等於80且小於85的元素的檔案。(只要元素中有一個匹配,那麼這個元素所在的陣列的檔案就會返回)
db.scores.find(
   { results: { $elemMatch: { $gte: 80, $lt: 85 } } }
)

// 返回結果, 
{ "_id" : 1, "results" : [ 82, 85, 88 ] }

// 說明: _id=2的資料,沒有任何一個元素值在80~85之間,所以不返回。

上面是簡單的陣列結構的查詢。 

下面演示下元素為物件的資料的查詢。

// 1. 插入資料
db.survey.insertMany( [
   { "_id": 1, "results": [ { "product": "abc", "score": 10 },
                            { "product": "xyz", "score": 5 } ] },
   { "_id": 2, "results": [ { "product": "abc", "score": 8 },
                            { "product": "xyz", "score": 7 } ] },
   { "_id": 3, "results": [ { "product": "abc", "score": 7 },
                            { "product": "xyz", "score": 8 } ] },
   { "_id": 4, "results": [ { "product": "abc", "score": 7 },
                            { "product": "def", "score": 8 } ] }
] )

// 查詢演示, 這裡是查詢results中元素含有 { product: "xyz", score: { $gte: 8 }  --- 也就是product = xyz, score ≥ 8的元素。 只要陣列中含有匹配的元素,該陣列所在的檔案返回。
db.survey.find(
   { results: { $elemMatch: { product: "xyz", score: { $gte: 8 } } } }
)

// 查詢結果  --- 可以看到 product = xyz, score≥8,所以這條 id=3的檔案被返回。 
{ "_id" : 3, "results" : [ { "product" : "abc", "score" : 7 },
                           { "product" : "xyz", "score" : 8 } ] }

// 補充,只要陣列中的元素有至少一個匹配查詢規則($elemMatch中的條件),那麼該陣列所在的檔案就返回,不管陣列中其他的元素怎樣。

帶$elemMatch和不帶的查詢對比

// 不帶$elemMatch 查詢results.product不等於xyz的檔案,是要全部元素做匹配,如果有一個元素不匹配,那條資料所在的檔案就不返回。 
db.survey.find(
   { "results.product": { $ne: "xyz" } }
)
// 返回結果
{ "_id" : 4, "results" : [ { "product" : "abc", "score" : 7 },
                           { "product" : "def", "score" : 8 } ] }


// 帶$elemMatch 
db.survey.find(
   { "results": { $elemMatch: { product: { $ne: "xyz" } } } }
)
// 返回結果,說明,因為是要查詢陣列results中存在元素product != xyz的檔案,只要有一個元素的product != xyz,那麼這個元素所在的陣列的檔案就會返回。 下面 id=1\2\3的第一個元素都為abc, != xyz, 所以返回,哪怕第二個元素的product == xyz。 
{ "_id" : 1, "results" : [ { "product" : "abc", "score" : 10 },
                           { "product" : "xyz", "score" : 5 } ] }
{ "_id" : 2, "results" : [ { "product" : "abc", "score" : 8 },
                           { "product" : "xyz", "score" : 7 } ] }
{ "_id" : 3, "results" : [ { "product" : "abc", "score" : 7 },
                           { "product" : "xyz", "score" : 8 } ] }
{ "_id" : 4, "results" : [ { "product" : "abc", "score" : 7 },
                           { "product" : "def", "score" : 8 } ] }

可以看到對於陣列的查詢,帶$elemMatch和不帶,區別很大。 通常情況下,一般會用$elemMatch,但有時候也會視實際需求來選擇。 

看完了如何查詢,現在可以進入第二步——如何更新,因為update()裡面有兩個主要引數,一個是query, 一個是set。  

db.collection.updateOne(<filter>, <update>, <options>)  filter就是query語句, update就是set語句,還有一個引數設定。 

 

二、Array(陣列)相關的Update(更新)

1. 官方定義和語法格式

// 官方標準語法定義
db.collection.update(
   <query>, // 要更新的檔案的查詢語句
   <update>, // 要更新的內容
   {
     upsert: <boolean>,  // 可選,true時開啟,存在則更新,否則新增,預設為False。
     multi: <boolean>, // 可選, true時開啟,批次更新符合條件的檔案,否則只更新第一條符合條件的檔案,預設false。
     writeConcern: <document>, // 可選,寫入策略。比如writeConcern:{w:1}, w:1 是預設的writeConcern,表示資料寫入到Primary就向用戶端傳送確認。 這個一般可以先不管,除非有需要再去專門看,否則不帶此引數。 
     collation: <document>,  // 可選,根據不同的語言客製化排序規則,比如{collation: {locale: "zh"}} 代表檔案處理時,按照中文拼音排序規則來排序處理。 預設情況下,是按照欄位值的普通的二機制字串來排序。 可以先忽略。
     arrayFilters: [ <filterdocument1>, ... ],  // 可選,這個對於陣列欄位的更新很有用,尤其是隻需要更新陣列中的符合條件的個別元素。  等下下文會有使用演示。 
     hint:  <document|string>, // 可選, 4.2 版本後新增的東西  強制某個欄位使用索引。 儘管mongodb會自動優化處理,但為了避免某個欄位沒有使用索引,可以強制指定。
     let: <document> // 可選, 5.0 版本後新增的東西 一個變數定義選項,可以讓命令的可讀性得到提升,
   }
)

// 上面的let 選項,如下是一個簡易範例。
假設有這幾條資料
db.cakeFlavors.insertMany( [
   { _id: 1, flavor: "chocolate" },
   { _id: 2, flavor: "strawberry" },
   { _id: 3, flavor: "cherry" }
] )

// 執行下述語句,用了let 分別定義了 targetFlavor變數,值為cherry, newFlavor變數,值為 orange。  在前面的 query/update 中,對應的匹配值和新的set的值,是用了let中定義的變數名來佔位。  
db.cakeFlavors.update(
   { $expr: { $eq: [ "$flavor", "$$targetFlavor" ] } },
   [ { $set: { flavor: "$$newFlavor" } } ],
   { let : { targetFlavor: "cherry", newFlavor: "orange" } }
)
上面的意思就是查詢flalvor等於targetFlavor(let中定義的變數)的值(也就是cherry)的檔案,然後把flavor的值更新成 newFlavor(let中定義的變數)的值(即 orange)。 

除了上面標準語法,還有updateOne--更新符合條件的第一條;updateMany--更新多條,replaceOne--替換符合條件的一條。 引數和上面的一樣,不贅述。

  • db.collection.updateOne(<filter>, <update>, <options>)
  • db.collection.updateMany(<filter>, <update>, <options>)
  • db.collection.replaceOne(<filter>, <update>, <options>)

 

2. 陣列更新操作符(Array Update Operators)

要正確、熟悉地實現針對陣列的更新,需要了解學習以下幾個陣列更新操作符。

  • $  預留位置,只更新符合條件的檔案的陣列欄位中的第一個匹配的元素。 下文有demo。
  • $[]  預留位置,和$的區別是更新符合條件的檔案的陣列欄位中的所有元素。 
  • $[<identifier>]  也是預留位置,但是隻更新符合條件的檔案的陣列中的指定元素(符合某個條件)。 要和update中的第三個引數中的可選項 arrayFilters配合使用。
  • $addToSet,新增元素到一個陣列,確保不重複(set)。如果陣列中沒有一模一樣的元素,可以插入,如果有,則無法插入。
  • $pop   刪除陣列第一個或者最後一個元素。
  • $pull  刪除陣列中所有符合指定條件的元素。
  • $push  新增一個元素到陣列中。 
  • $pullAll  刪除陣列中的所有元素。 

3. 舉例

基於上述的陣列欄位的查詢,以及update語法,我們可以開始做基於陣列的更新操作演示了。非陣列欄位的更新,請讀者自行找官方檔案參考學習,此處不贅述。

3.1 $ 預留位置

用於只更新符合條件的檔案中的第一個匹配的元素。

// 讓我們先插入一些資料 
db.students.insertMany( [
   { "_id" : 1, "grades" : [ 85, 80, 80 ] },
   { "_id" : 2, "grades" : [ 88, 90, 92 ] },
   { "_id" : 3, "grades" : [ 85, 100, 90 ] }
] )

// 注意,這裡用的updateOne,只更新一條。  
// 查詢_id=1, grades陣列中有80的檔案。把grades中第一個匹配的元素(就是值為80)替換成 82
db.students.updateOne(
   { _id: 1, grades: 80 },
   { $set: { "grades.$" : 82 } }
) 

// 更新完畢後,可以看到id=1的資料中的grades,第一個80變成82了,後面的80沒變。 這就是$,代表佔位匹配的第一個元素位置(不是陣列的第一個元素)。
{ "_id" : 1, "grades" : [ 85, 82, 80 ] }
{ "_id" : 2, "grades" : [ 88, 90, 92 ] }
{ "_id" : 3, "grades" : [ 85, 100, 90 ] }

// 有人說,如果我要更新所有grades含有 90的陣列的第一個匹配元素呢?請看下面語句。
//  使用update,開啟批次更新( {multi:true})。 查詢grades存在90的檔案,並把每個檔案中的第一個90替換成82.
db.students.update(
   { grades: 90 },
   { $set: { "grades.$" : 82 } },
   {multi:true}
)

// 執行後的結果
{ "_id" : 1, "grades" : [ 85, 82, 80 ] }
{ "_id" : 2, "grades" : [ 88, 82, 92 ] }
{ "_id" : 3, "grades" : [ 85, 100, 82] }

 

上面是比較簡單的普通陣列,如果陣列儲存的是物件呢? 同理的,看程式碼

// 先執行一下把Students的資料清空
db.students.remove({}) 

// 插入帶物件的陣列資料
db.students.insertMany( [
{"_id" : 4,
    "grades" : [
    { "grade" : 80, "mean" : 75, "std" : 8 }, 
    { "grade" : 85, "mean" : 90, "std" : 6 }, 
    { "grade" : 85, "mean" : 85, "std" : 8 }
    ]
},
{
  "_id": 5,
  "grades": [
     { "grade": 80, "mean": 75, "std": 8 },
     { "grade": 85, "mean": 90, "std": 5 },
     { "grade": 90, "mean": 85, "std": 3 }
  ]
}
])

// 執行updateOne 
db.students.updateOne(
   { _id: 4, "grades.grade": 85 },
   { $set: { "grades.$.std" : 10 } }
)

可以看到,成功更新1條。

 

 檢視結果如下圖。 物件陣列的操作也一樣的。  只更新第一個匹配的元素。 

上面的例子,沒有使用$elemMatch作為匹配查詢條件,你要用也可以。 自己嘗試。

 

3.2  $[]  預留位置

和$的區別是更新符合條件的檔案的陣列欄位中的所有元素。 

// 還是一樣,先清空下資料
db.students.remove({})
// 插入演示資料
db.students.insertMany( [
   {
      "_id" : 1,
      "grades" : [
         { "grade" : 80, "mean" : 75, "std" : 8 },
         { "grade" : 85, "mean" : 90, "std" : 6 },
         { "grade" : 85, "mean" : 85, "std" : 8 }
      ]
   },
   {
      "_id" : 2,
      "grades" : [
         { "grade" : 90, "mean" : 75, "std" : 8 },
         { "grade" : 87, "mean" : 90, "std" : 5 },
         { "grade" : 85, "mean" : 85, "std" : 6 }
      ]
   }
] )

// 更新所有grades陣列中含有grade大於80的檔案,使用grades.$[].std表示更新每個匹配檔案中的所有元素的std欄位值。  這裡是統一改成10。
db.students.updateMany(
   {"grades":{$elemMatch:{"grade": {$gt:80}}}},
   { $set: { "grades.$[].std" : 10 } },
)

結果看下圖

 

假如你要處理的陣列欄位不是一個物件,只是字串或者數位,$[]後面不需要接下級欄位。 如下參考程式碼。 

db.students.updateMany(
   {"grades":{$elemMatch:{"grade": {$gt:80}}}},
   { $set: { "grades.$[]" : "隨便你寫個值" } }, // 這裡grades 假設是一個字串陣列。 
)

 

寫到這裡,我們已經分別用$、$[] 實現對第一個匹配的元素、符合條件的所有檔案下的所有元素做更新。

有讀者可能會問,那麼我想只更新檔案下的部分元素呢?比如我只想把陣列中的grade大於等於87的元素的std換成 22呢? 

好問題,對於這種需求,要使用第三種預留位置 $[<identifier>]。 

3.3  $[<identifier>]

注意:$[<identifier>] 通常情況下是要和 arrayFilters 一起使用的。語法格式如下

db.collection.updateMany(
   { <query conditions> },  // 查詢條件
   { <update operator>: { "<array>.$[<identifier>]" : value } },  // 更新內容
   { arrayFilters: [ { <identifier>: <condition> } ] }  // 陣列過濾條件
)

請看程式碼。

// 先清空下資料
db.students.remove({})

// 插入資料
db.students.insertMany( [
   { "_id" : 1, "grades" : [ 95, 92, 90 ] },
   { "_id" : 2, "grades" : [ 98, 100, 102 ] },
   { "_id" : 3, "grades" : [ 95, 110, 100 ] }
] )

// 使用$[<identifier>] 更新 
//  查詢所有,把grades中≥100的值全部換成333。 
db.students.updateMany(
   { },
   { $set: { "grades.$[element]" : 333 } },
   { arrayFilters: [ { "element": { $gte: 100 } } ] }
)

注意: identifier的名稱可以是任意,但是$set和arrayFilters中的名稱要一致。 

執行後的資料結果如下。

 

 可以看到,上面只更新了匹配的檔案中的符合arrayFilters條件的元素。

有人又問,你這是一個簡單的陣列,可以演示下物件陣列嗎? 可以,看程式碼。 

// 還是先清空資料
db.students.remove({})

// 插入資料
db.students.insertMany( [
{  "_id" : 1,
   "grades" : [
      { "grade" : 80, "mean" : 75, "std" : 5 },
      { "grade" : 85, "mean" : 100, "std" : 4 },
      { "grade" : 85, "mean" : 100, "std" : 5 }
   ]
},
{
   "_id" : 2,
   "grades" : [
      { "grade" : 90, "mean" : 100, "std" : 5 },
      { "grade" : 87, "mean" : 100, "std" : 3 },
      { "grade" : 85, "mean" : 100, "std" : 4 }
   ]
}
] )

//  查詢所有,把所有grades中的grade ≥ 85的元素中的mean更新為111 
db.students.updateMany(
   { },
   { $set: { "grades.$[elem].mean" : 111 } },
   { arrayFilters: [ { "elem.grade": { $gte: 85 } } ] }
)

注意: arrayFilters的elem要和set中的$[elem]中的elem一致。 是一個識別符號。 可以任意,但要一致。 

執行後結果如下圖

 

講到這裡,對於陣列欄位中的元素編輯基本上可以滿足開發需求,再小結下。 

  • $ : 更新檔案中匹配的第一個元素
  • $[] : 更新檔案中所有元素
  • $[<identifier>] : 條件更新

除了上面3個預留位置,mongodb 陣列中的更新還有幾個操作符($addToSet, $pop, $pull, $push, $pullAll),下面逐一介紹。 

$addToSet

AddToSet
// 語法格式:
{ $addToSet: { <field1>: <value1>, ... } } // 欄位名:值

//
插入一條演示資料 db.inventory.insertOne( { _id: 1, item: "polarizing_filter", tags: [ "electronics", "camera" ] } ) // 使用addToSet 新增一個元素到Tags中。 db.inventory.updateOne( { _id: 1 }, { $addToSet: { tags: "accessories" } } )

可以看到 accessories 作為元素追加到了tags陣列中

當要插入的元素已經存在,可以看到modified是0,也就是沒更新。

 $pop 

// 作用,刪除陣列中的第一個或者最後一個元素。
// 語法格式
{ $pop: {
<field>: <-1 | 1>, ... } } 其中 -1, 1 分別代表陣列的第一個元素和最後一個元素 // 插入資料 db.students.insertOne( { _id: 1, scores: [ 8, 9, 10 ] } ) // 刪除scores陣列的第一個元素(-1) db.students.updateOne( { _id: 1 }, { $pop: { scores: -1 } } ) // 再次檢視 結果如下 { _id: 1, scores: [ 9, 10 ] } 可以看到第一個元素 8 已經被刪掉。

$push

// 作用: 把一個元素加入到陣列中。
// 語法
{ $push: { <field1>: <value1>, ... } }

// 插入資料
db.students.insertMany( [
   { _id: 2, scores: [ 45, 78, 38, 80, 89 ] } ,
   { _id: 3, scores: [ 46, 78, 38, 80, 89 ] } ,
   { _id: 4, scores: [ 47, 78, 38, 80, 89 ] }
] )

// 批次更新,對每個檔案都往scores中追加一個元素 95. 
db.students.updateMany(
   { },
   { $push: { scores: 95 } }
)

// 再次查詢 結果
[
   { _id: 1, scores: [ 44, 78, 38, 80, 89, 95 ] },
   { _id: 2, scores: [ 45, 78, 38, 80, 89, 95 ] },
   { _id: 3, scores: [ 46, 78, 38, 80, 89, 95 ] },
   { _id: 4, scores: [ 47, 78, 38, 80, 89, 95 ] }
]

$pull

// 作用:刪除陣列中的指定元素(通過查詢條件),
// 注意和 $pullAll的區別, pullAll是刪除所有指定值元素, pull是傳入查詢條件,刪除符合條件的元素。
// 語法格式
{ $pull: { <field1>: <value|condition>, <field2>: <value|condition>, ... } } // 插入資料 db.stores.insertMany( [ { _id: 1, fruits: [ "apples", "pears", "oranges", "grapes", "bananas" ], vegetables: [ "carrots", "celery", "squash", "carrots" ] }, { _id: 2, fruits: [ "plums", "kiwis", "oranges", "bananas", "apples" ], vegetables: [ "broccoli", "zucchini", "carrots", "onions" ] } ] ) // 刪掉fruits中所有apples, oranges元素,刪掉vegatables中所有carrots元素。 db.stores.updateMany( { }, { $pull: { fruits: { $in: [ "apples", "oranges" ] }, vegetables: "carrots" } } ) // 執行後結果 { _id: 1, fruits: [ 'pears', 'grapes', 'bananas' ], vegetables: [ 'celery', 'squash' ] }, { _id: 2, fruits: [ 'plums', 'kiwis', 'bananas' ], vegetables: [ 'broccoli', 'zucchini', 'onions' ] }

$pullAll

 請注意和$pull的區別

// 作用,傳入指定值,刪除陣列中元素為指定值的所有元素,和$pull的區別是,pull是依賴於傳入的查詢條件,刪除匹配查詢條件的元素。 
// 語法格式
{ $pullAll: { <field1>: [ <value1>, <value2> ... ], ... } }

// 插入資料
db.survey.insertOne( { _id: 1, scores: [ 0, 2, 5, 5, 1, 0 ] } )

// 執行
db.survey.updateOne( { _id: 1 }, { $pullAll: { scores: [ 0, 5 ] } } )


// 刪除 0,5的元素,再次查詢,結果如下
{ "_id" : 1, "scores" : [ 2, 1 ] }

 

希望這篇文章能幫到大家,有錯漏之處,歡迎指正。 

完。