資訊專欄INFORMATION COLUMN
摘要：基本說明作用對的進(jìn)行運(yùn)算，篩選，截取，排序操作語法是要執(zhí)行的聚合說明格式類型或包含多個的列表或，會順序執(zhí)行列表里面的操作語法操作符操作提供了非常多的操作符，這里只選取常用的幾個進(jìn)行說明常用操作重命名及增加，刪除字段例子保留字段不要字段常用以
基本說明 作用
對mongodb的collection進(jìn)行運(yùn)算，篩選，截取，排序操作
語法db.collection.aggregate(pipeline)
pipeline是要執(zhí)行的聚合說明
pipeline 格式dict類型或包含多個dict的列表：{} 或 [{},…,{}]，mongodb會順序執(zhí)行列表里面的操作
pipeline 語法：{$操作符:{操作}}
mongodb提供了非常多的操作符，這里只選取常用的幾個進(jìn)行說明
重命名及增加，刪除字段
例子：
db.collection.aggregate({"$project": {
key1:1, // 保留key1字段
key2:0, //不要key2字段（常用以去掉"_id"，因為"_id"會默認(rèn)被包含）
keyalias:"$key3"http://將key3字段重命名為keyalias
}}
$match
過濾篩選操作
match語法和db.collection.find()語法相同
現(xiàn)在數(shù)據(jù)條數(shù)
如： db.collection.aggregate({$limit:5}) : 只返回最多5條數(shù)據(jù)
從數(shù)據(jù)集合開始跳過n條數(shù)據(jù)
語法和$limit 一樣，n為正整數(shù)
將數(shù)組元素拆分成獨(dú)立字段
語法{$unwind:"$字段名"},該字段的值必需是數(shù)組
例子：
假設(shè)collection 原版的數(shù)據(jù)是：
{_id:xxxxxxx,
key1: [
{subk1: value,
subk2: value
},
{subk3: value,
subk2: value
}],
key2: value,
key3: value
}
通過db.collection.aggregate({$unwind:"$key1"})后:
{result:[
{
_id: xxxxxxx,
key1: {subk1: value, subk2: value},
key2: value,
key3:value
},
{
_id: xxxxxxx
key1: {subk3: value, subk2: value},
key3: value
}
]
}
$group
根據(jù)指定字段值進(jìn)行分組，可以包含算數(shù)類型的表達(dá)式操作符
例子：
假設(shè)collection數(shù)據(jù)為
[{
_id: xxxxxxx,
key1: v1,
key2: 2,
},
{
_id: xxxxxxxx,
key1: v2,
key2: 5
},
{
_id: xxxxxxx,
key1: v1,
key2: 7
},
]
db.collection.aggregate({$group:{_id:"$key1", key2sum:{$sum :"$key2"}}})
結(jié)果為：
{result:[
{key1: v1, key2sum: 9},
{key1: v2, key2sum: 5}
]
}
$sort
對結(jié)果進(jìn)行排序**，語法和db.collection.find().sort()語法一致
{$sort:{key1: -1, key2:1}}: key1值降序，key2值升序
pipeline = {$match:{ts:{$gte: 100000, $lt:120000}}}
篩選出ts在[100000, 120000] 之間的數(shù)據(jù)
去掉值為null的數(shù)據(jù)pipeline = {$match:{key1:"$ne":null}}
去掉key1為null的數(shù)據(jù)
多個操作組合示例 pipeline = [{"$project":{"minu": 1, "_id": 0, "t": 1, "r": 1}},
{"$unwind": "$minu"},
{"$match": {"minu": {"$ne": None}}},
{"$project": {"r": 1, "trans_count": "$minu.k", "ts": {"$add": ["$t", "$minu.t"]}}},
{"$match": {"ts": {"$gte": 1457059140, "$lt": 1457060040}}},
{"$project": {"trans_count": 1, "id": 0, "r": 1}},
{"$group": {"trans_count": {"$sum": "$trans_count"}, "id": "$r"}},
{"$project": {"trans_count": 1, "id": 0, "ret_code": "$id"}},
{"$sort": {"trans_count": -1, "ret_code": 1}}]
mongodb會順序執(zhí)行以下內(nèi)容：
獲取minu, t, r 字段的內(nèi)容, 去掉_id字段
分解minu的數(shù)據(jù)
去掉minu字段為null的數(shù)據(jù)
將保留r字段, minu.k重命名為trans_count, ts為t和minu.t的和
獲取ts在[1457059140, 1457060040]之間的數(shù)據(jù)
獲取trans_count, r 字段
按照r字段的值分組，同一個r值得trans_count相加（id的值是r字段的內(nèi)容）
保留trans_count字段,_id重命名為ret_code
根據(jù)trans_count降序，ret_code升序排列
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/18820.html
摘要：小結(jié)是聚合管道查詢使用的方法，參數(shù)是數(shù)組，每個數(shù)組元素就是一個，中運(yùn)用操作符對數(shù)據(jù)進(jìn)行處理后再交由下一個，直到?jīng)]有下個，就輸出最終的結(jié)果，而數(shù)據(jù)的處理則是通過使用操作符，本文先簡單介紹了一下有哪些常用的操作符，下一篇再詳細(xì)說明。 前言：一般查詢可以通過find方法，但如果是比較復(fù)雜的查詢或者數(shù)據(jù)統(tǒng)計的話，find可能就無能為力了，這時也許你需要的是aggregate. 什么是聚合管道(...
摘要：一前言因公司需要選用做全文檢索，持久化存儲選用的是，但是希望里面的數(shù)據(jù)發(fā)生改變可以實(shí)時同步到上，一開始主要使用的版本，可以搞定這個問題。或者修改中的某一條數(shù)據(jù)，也會實(shí)時同步到中。如何把的主文檔和附件信息都同步到中利用的來實(shí)現(xiàn)。 一、前言 因公司需要選用elasticsearch做全文檢索，持久化存儲選用的是mongodb，但是希望mongodb里面的數(shù)據(jù)發(fā)生改變可以實(shí)時同步到elast...
摘要：最近真是忙的吐血。。。上篇寫的是直接在爬蟲中使用，這樣不是很好，下使用才是正經(jīng)方法。 最近真是忙的吐血。。。 上篇寫的是直接在爬蟲中使用mongodb，這樣不是很好，scrapy下使用item才是正經(jīng)方法。在item中定義需要保存的內(nèi)容，然后在pipeline處理item，爬蟲流程就成了這樣： 抓取 --> 按item規(guī)則收集需要數(shù)據(jù) -->使用pipeline處理（存儲等） 定義it...
摘要：環(huán)境使用可以實(shí)現(xiàn)較為復(fù)雜的數(shù)據(jù)聚合操作，例如匯總?cè)ブ貐R總分組統(tǒng)計等。返回結(jié)果為數(shù)組，需要注意數(shù)據(jù)大小不能超過。的返回結(jié)果為游標(biāo)，可循環(huán)取數(shù)。 環(huán)境mongos 3.0.14 aggregate 使用 aggregate 可以實(shí)現(xiàn)較為復(fù)雜的數(shù)據(jù)聚合操作，例如 匯總（count）、去重匯總（distinct count）、分組統(tǒng)計（group having）等。 aggregate 返回結(jié)...
閱讀 3696·2021-08-10 09:42
閱讀 591·2019-08-30 15:55
閱讀 890·2019-08-30 15:54
閱讀 3114·2019-08-30 13:45
閱讀 556·2019-08-29 16:23
閱讀 1992·2019-08-29 16:23
閱讀 986·2019-08-29 15:18
閱讀 2264·2019-08-29 12:57
