資訊專欄INFORMATION COLUMN
摘要：你一定不想錯過這個全球較大的公開數(shù)據(jù)集。令人興奮的是，斯坦福普林斯頓等的研究人員聯(lián)手給大量的空間打了些標(biāo)簽，并將標(biāo)記數(shù)據(jù)以數(shù)據(jù)集的形式公開出來。這是目前世界上較大的公開數(shù)據(jù)集，其中的標(biāo)注意義重大。
你一定不想錯過這個全球較大的公開3D數(shù)據(jù)集。
本文作者為Matt Bell，是3D掃描解決方案提供商Matterport的聯(lián)合創(chuàng)始人、首席戰(zhàn)略官。在本文中，Bell親述Matterport公開的這個數(shù)據(jù)集細(xì)節(jié)，我們隨他去看看。
一路走來，Matterport見證了3D數(shù)據(jù)集在深度學(xué)習(xí)多領(lǐng)域的巨大力量。我們在這個領(lǐng)域研究了很久，希望將一部分?jǐn)?shù)據(jù)分享給研究者使用。令人興奮的是，斯坦福、普林斯頓、TUM等的研究人員聯(lián)手給大量的空間打了些標(biāo)簽，并將標(biāo)記數(shù)據(jù)以Matterport 3D數(shù)據(jù)集的形式公開出來。
這是目前世界上較大的3D公開數(shù)據(jù)集，其中的標(biāo)注意義重大。
像ImageNet、COCO這種比較大的2D數(shù)據(jù)集創(chuàng)建于2010年左右，是高精2D圖像分類系統(tǒng)工具。我們希望Matterport這種3D+2D的數(shù)據(jù)集也能提升AI系統(tǒng)的認(rèn)知力、理解力，帶動3D研究的發(fā)展。
Matterport的行業(yè)影響力巨大，從增強(qiáng)現(xiàn)實(shí)、機(jī)器人技術(shù)、3D重構(gòu)到更好地理解3D圖像，我們一直在推進(jìn)。
數(shù)據(jù)集“魔盒”
數(shù)據(jù)集中包含了10800張尺寸相同的全景圖（RGB+深度圖像），這些圖片是從90個建筑場景的194400張RGB色彩模式的深度圖像中挑選出來的，圖像均用Matterport的Pro 3D相機(jī)拍攝。
這些場景的3D模型已經(jīng)用實(shí)例級對象分割做了標(biāo)記，你可以在 https://matterport.com/gallery 網(wǎng)站中交互式探索不同的Matterport 3D重建模型。
幾種不同的解鎖姿勢
很高興地告訴大家，這個數(shù)據(jù)集非常實(shí)用。下面我將介紹Matterport研究的幾個方向。
目前，我們內(nèi)部用這個數(shù)據(jù)集做過這樣一個系統(tǒng)，將用戶拍攝的照片分割成房間，并將其分類。這個系統(tǒng)的表現(xiàn)不錯，甚至在沒有門或隔斷隔開情況下，也能分辨出不同的房間類型（例如廚房和餐廳）。
此外，我們也在學(xué)習(xí)用深度學(xué)習(xí)方法填充3D傳感器夠不到的區(qū)域。這方便了用戶快速拍攝廣闊的開放空間，如倉庫、購物中心、商業(yè)地產(chǎn)、工廠和新類型的房間等。
不妨看一個簡單的示例。在這個例子中，我們的算法通過顏色和局部深度，預(yù)測深度值和深度傳感器的表面方向(法向量)。由于這些區(qū)域太遠(yuǎn)，無法被深度傳感器探測到。
其實(shí)，我們還能用它在用戶拍攝的空間中劃分出不同對象。與現(xiàn)在3D模型不同的是，這些完全分割的模型能較精確識別空間中的物體。這樣就解鎖了很多使用姿勢，包括自動生成含有空間內(nèi)容和特征的詳細(xì)列表，并自動看到不同家具在空間中的樣子。
我們還有個小目標(biāo)，比如讓任何空間能夠被索引、搜索、排序和理解，讓用戶找到想要的東西。
比如，你想找到個地方度假，你希望那里有三間大臥室，配備著現(xiàn)代化廚房，客廳內(nèi)還有內(nèi)置的壁爐，在陽臺上能看到下面的池塘風(fēng)景，還有一扇落地窗？我們可以做到。
比如，你想盤點(diǎn)辦公室里所有家具，想比較建筑工地上的管道和CAD模型是否一致？也so easy。
論文中還展示了一系列其他用例，包括通過深度學(xué)習(xí)的特性提高特征匹配、二維圖像的表面法向量估計(jì)，以及識別基于體素模型的架構(gòu)特征和對象等。
我們的下一步
正如上面所說，你可以使用這些數(shù)據(jù)、代碼和論文，我們很愿意聽聽大家是如何使用它們的，也很期待與研究機(jī)構(gòu)合作開展一些項(xiàng)目。
如果你對3D和更大的數(shù)據(jù)集感興趣，也歡迎加入我們，感謝參與項(xiàng)目的所有人。
最后，附數(shù)據(jù)集地址：
https://niessner.github.io/Matterport/
Code地址：
https://github.com/niessner/Matterport
論文下載地址：
https://arxiv.org/pdf/1709.06158.pdf
歡迎來到3D世界！
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/4621.html
摘要：兩種相機(jī)的區(qū)別目前提供了幾種不同的相機(jī)，最常用的，也是下面插件中使用的兩種相機(jī)是透視相機(jī)正交投影相機(jī)。上面的圖很清楚的解釋了兩種相機(jī)的區(qū)別右側(cè)是正交投影相機(jī)他不具有透視效果，即物體的大小不受遠(yuǎn)近距離的影響，對應(yīng)的是投影中的正交投影。導(dǎo)讀 本文從繪圖基礎(chǔ)開始講起，詳細(xì)介紹了如何使用Three.js開發(fā)一個功能齊全的全景插件。 我們先來看一下插件的效果： showImg(https://user...
摘要：導(dǎo)讀本文從繪圖基礎(chǔ)開始講起，詳細(xì)介紹了如何使用開發(fā)一個功能齊全的全景插件。兩種相機(jī)的區(qū)別目前提供了幾種不同的相機(jī)，最常用的，也是下面插件中使用的兩種相機(jī)是透視相機(jī)正交投影相機(jī)。 導(dǎo)讀 本文從繪圖基礎(chǔ)開始講起，詳細(xì)介紹了如何使用Three.js開發(fā)一個功能齊全的全景插件。 我們先來看一下插件的效果： showImg(https://segmentfault.com/img/remote/...
摘要：導(dǎo)讀本文從繪圖基礎(chǔ)開始講起，詳細(xì)介紹了如何使用開發(fā)一個功能齊全的全景插件。兩種相機(jī)的區(qū)別目前提供了幾種不同的相機(jī)，最常用的，也是下面插件中使用的兩種相機(jī)是透視相機(jī)正交投影相機(jī)。 導(dǎo)讀 本文從繪圖基礎(chǔ)開始講起，詳細(xì)介紹了如何使用Three.js開發(fā)一個功能齊全的全景插件。 我們先來看一下插件的效果： showImg(https://segmentfault.com/img/remote/...
摘要：淘寶造物節(jié)的活動頁就是全景的一個很贊的頁面，它將全景圖分割成等份，相鄰的元素構(gòu)成的夾角，相鄰兩側(cè)面相對于棱柱中心所構(gòu)成的夾角。 本文轉(zhuǎn)自凹凸實(shí)驗(yàn)室：https://aotu.io/notes/2016/08... showImg(https://segmentfault.com/img/remote/1460000011381045); 前言 3D 全景并不是什么新鮮事物了，但以前...
閱讀 2390·2021-11-15 11:37
閱讀 2639·2021-09-23 11:21
閱讀 2968·2021-09-07 10:11
閱讀 3176·2019-08-30 15:53
閱讀 2835·2019-08-29 15:13
閱讀 1618·2019-08-26 13:57
閱讀 1112·2019-08-26 12:23
閱讀 2452·2019-08-26 11:51
