大數據部門架構SEARCH AGGREGATION
回答:這個太范化了吧。大數據架構選擇的方案就有很多，海量數據的即席查詢本省就是業內目前的痛點，暫時沒有太好的解決方案，kylin等框架也只是一個折中方案，如果你不是要求海量數據分析的秒級響應的話sparkSql、presto等都是不錯的方案，分鐘級別可以返回。
Paul_King
|
684人閱讀
回答:現在有幸參與傳統銀行數字化轉型，負責技術架構部分的轉型設計。高性能的數據架構（High Performance Data Architecture），正是我們架構轉型的重點。隨著科技的蓬勃發展、社交網絡的廣泛使用、線上消費的普及、數據挖掘的技術提升等大趨勢，全球銀行業正迎來一場聲勢浩大的數字化創新浪潮。數字化為消費者的生活及行為模式帶來翻天覆地的變化，也孵化出一批新型的金融科技(Fintech)競...
Lowky
|
535人閱讀
回答:以mysql為列：1：支撐高并發系統，一定會涉及事務，所以數據庫引擎必選innodb，innodb支持事務，事務級別根據業務而定，如果業務數據一致性要求很高，事務就開啟序列化級別，這樣就完全隔離事務，但是會導致鎖資源競爭加劇。mysql的性能有一定的降低。2：讀寫分離，數據庫分成主庫和從庫，主庫負責寫數據，叢庫負責讀數據。注意主從數據庫數據一致性問題。3：冷熱數據分離，美團，餓了么部分設計采用冷熱...
Vultr
|
1273人閱讀
回答:目前階段大數據技術及體系已經逐漸趨于成熟，不再是以概念貫穿的模式，大數據越來越多的被使用，伴隨互聯網化的發展更多的企業信息化已經由IT時代轉變為DT時代，以數據為核心，用數據進行決策，基于數據驅動企業的創新與發展，相信在將來大數據也會有更廣泛的應用空間，對于大數據的理解主要分為以下幾個層面。1.數據來源：對于大數據時代而言更多強調基于業務數據的沉淀，在一定規模的數據上進行進一步的分析、處理、轉換，...
arashicage
|
1241人閱讀
...系統，以及很多太短的通用平臺與系統，主要關注架構、數據庫、O2O等方面的技術。 壹佰案例： 作為同時負責過58同城和58到家業務的架構師，可否從架構方向談下兩項業務的技術難點有何不同？ 沈劍：58同城是一個信息平臺...
越來越多的公司言并稱大數據，而大數據管道和存儲集群的規模甚至可以是業務集群的一百倍的規模。這里有多少機器是真正在做有價值的事情，而有多少cpu cycle是白白被浪費掉了呢？data pipeline 中充斥著驚人的浪費！只是我...
...臺的技術公司，服務器仍然保持著100%的本地化。它有5個數據中心，擁有45，000臺服務器，以及一個圍繞著維護傳統技術所需的遺留技能組織起來的一個IT團隊。 我們需要大量資源來保持實體基礎設施的與時俱進，但在這個...
... 質量對于運維來說的是提供反饋。及時提供指標，提供數據給研發側，告訴真實的用戶體驗。提供數據報表給產品側，用戶的實際使用情況。這種反饋的數據可以指導模塊的性能優化，長期的架構調整，業務的模式轉型。但是...
...頁、樣式，效率能高嗎？讓后端人員去搶DBA的飯碗，去做數據庫優化，效率能高嗎？ 不專業的人做不專業的事情，可能和公司的發展歷程、組織架構、人員規劃有關；也可能和任務安排有關。 公司發展初期，養不起很多專業的...
...用了新興的產品，像通過軟件即服務（SaaS）交付的大數據分析功能。 他們能夠將非常復雜的信息簡化成視圖，放到一個頁面上，任何人都可以查看，舊金山桌面即服務提供商Centered Networks的高級工程師Nathan Smith如是...
... 如圖所示，企業上云的三大架構為 IT 架構、應用架構和數據架構，在不同的公司，不同的人、不同的角色，關注的重點不同。 對大部分的企業來講，上云的訴求是從 IT 部門發起的，發起人往往是運維部門，他們關注計算、網...
ChatGPT和Sora等AI大模型應用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關性能圖表。同時根據訓練、推理能力由高到低做了...
高勝山
宋華
