摘要:背景當下后都能在手機鍵盤上敲字如飛,后的都可以坦然的搖微信,移動互聯網可謂炙手可熱。傳統移動開發技術方案難題終端移動平臺太多微信而且不同平臺還有版本差異,對于開發調試簡直是一場噩夢,要想實現統一覆蓋沒有雄厚的資本支持是非常困難的。
背景
當下10后都能在手機鍵盤上敲字如飛,60后的都可以坦然的搖微信,移動互聯網可謂炙手可熱。隨著智能手機的快速發展,移動APP作為登入移動互聯網最便捷的方式,扼守著移動互聯網的入口。現在這類軟件被越來越多的人所青睞,在沒有大量資金的情況下,手機APP是中小企業發展方向的一個很好選擇。對于個人和企業移動APP 已經是創業和發展的必備工具。移動互聯網APP開發,對于企業來說面臨著項目周期,資源投入,推廣等諸多問題,而對于個人更是望而卻步。
傳統移動開發技術方案:
終端移動平臺太多:Android,IOS,Windows Phone,微信 …. 而且不同平臺還有版本差異,對于開發調試簡直是一場噩夢,要想實現統一覆蓋沒有雄厚的資本支持是非常困難的。
開發成本:招人難,找到合適的更難,成本高,移動開發門檻障礙
撿了芝麻丟了西瓜:企業把精力投入到自己不擅長的領域大多時候并不是一件好事情,對于個人來說更是如此。
全站解決方案:一個優秀的APP除了核心業務同時也需要其他優秀的組件,如:推送,用戶行為分析,市場活動,數據統計等等。
運維困難:要保證APP的穩定可靠運行,運維是必不可少的一部分,這些工作需要專業的運維團隊來做。這樣也加重了企業的負擔。
現在是一個屌絲逆襲的時代,為了幫助企業和個人無門檻擁有屬于自己的APP,MaxWon 應運而生。
MaxWon 是基于MaxLeap SaaS 云服務,集成不同行業模塊,集 APP 生成,運營,分析,自動化運維與一體的服務,用戶只需要關心自己的業務,完全擺脫上面的各種難題。
用戶組合自己想要的模塊,點擊生成APP,就可以生成自己想要的不同平臺的APP,包括Android,IOS,微官網,PC官網。
差異化服務。由于是面向多租戶的服務,不同的APP產生的流量可能差異很大,系統要能做到服務隔離和水平擴展。
數據隔離與擴展。為了保證數據安全,每一個APP 都會有一個獨立的DB,數據只能被自己的APP訪問,防止數據hack,保證數據安全。對于大數據量的APP,DB 能夠支持無限擴展。
快速部署與自動化運維。
服務的監控。由于服務遍布在集群的不同機器上,需要能夠監控所有租戶服務的健康狀態,保證服務的高可用行,并且能夠水平擴展。
支持服務和數據的遷移
能獨立運行的1.0由于MaxWon 需要支持不同行業,業務就會比復雜,比較多。項目業務層是按模塊來劃分,通過不同模塊的組合來不同滿足行業的需求。
第一版架構遵循兩個原則:第一, 以業務實現為目標,盡快做出產品原型。由于MaxLeap已經有很多基礎的中間件可以直接拿來使用,如:推送,FAQ&Issue,支付,IM&社交等。現在只需要把精力放在MaxWon 自己的業務中去。第二,快速響應產品的需求,產品指導研發,很多場景、很多的玩法必須幫助產品實現,而且速度要非常快,要快速迭代。
描述 | 名稱 |
---|---|
平臺 | JDK 1.8 |
Web框架 | vertx-jersey(異步) |
ORM | JOOQ |
RDS | Mysql |
NoSql | Mongo |
對于大部分人來說 Vert.x可能會有點陌生,它是基于Netty實現的異步架構,和node.js 極其相似。由于之前做MaxLeap服務,一直在用Vert.x做為基礎架構,整個團隊對Vert.x 也很熟悉,該踩得坑也都踩過了,通過Verx-Rpc 可以直接訪問的MaxLeap 的微服務。在使用Vert.x 時最大的感受就是不能寫同步代碼,否則就會阻塞,導致導致服務不可用,所以我們的服務全是基于異步的方式來寫的。由于它是一個輕量級高性能JVM應用平臺,支持多語言開發,它的簡單actor-like 機制能幫助脫離直接基于多線程編程,天生支持分布式,以后對于服務擴展也是水到渠成的事情。
對于ORM 并沒有使用主流的 Hibernate或者IBATIS,而是使用小眾的JOOQ。JOOQ 相對于其他ORM算是很輕量,提供了強大的DSL 來訪問數據庫,靈活,上手很容易,代碼非常接近sql。
JOOQ runtime schema mapping 對于多租戶應用程序有很好的支持,可以很容易的實現為每個租戶分配獨立的DB。
還有一個重要的原因就是 JOOQ 已經和Java8 的Stream API 完全融合,cool!!。函數式編程表達性強,并且非常通用。它是數據及數據流處理的核心。Java開發人員現在也都知道函數式編程,而且大家又都用過SQL。想象一下,你用SQL來聲明表來源,把數據轉化成新的元組流,然后要么將它們作為派生表提供給其它更高級的SQL語句來使用,要么將它們交給你的應用程序來處理。
下面就是一段典型的Java代碼
DSLContext create = DSL.using(connection, dialect); create.select(AUTHOR.FIRST_NAME, AUTHOR.LAST_NAME, count()) .from(AUTHOR) .join(BOOK).on(BOOK.AUTHOR_ID.equal(AUTHOR.ID)) .where(BOOK.LANGUAGE.equal("DE")) .and(BOOK.PUBLISHED.greaterThan("20017-01-01")) .limit(2) .offset(1) .fetch(record -> transfer(record)) .stream() .filter(ele -> null != ele) .collect(Collectors.toList());
有了JOOQ,Java 8以及Streams API,你可以寫出強大的數據轉化的API,而且簡單易懂。
將架構特點劃分為優點和缺點進行描述。那么優點是:
簡單,易于實現,不需要額外的基礎支撐
利于業務的功能快速實現
服務都是以Docker Container 啟動,可以實現快速發布與部署
?
缺點:
不同租戶的應用無法隔離,所有的APP 都使用相同的Container,這樣會帶來APP之間相互影響,導致服務不穩定的風險。
缺少服務健康檢查。
運維成本過大。
1.0的架構就是一個簡單的Web系統。負載均衡使用Nignx,并沒有細化到租戶級別。業務系統通過代碼模塊的形式組織各種業務就是一個簡單的Web系統,后面直接掛了數據庫,比如商品、訂單、會員、客服,等等。可以看到,我們這個基礎的架構,對外就是HTTP。當時兩個人的小團隊開發各種業務,我們考慮只能用最簡單、最粗暴的方式實現,能快速地實現業務。當時的流量不是第一重要的問題,也不是最主要的矛盾。
對于這個階段,總結了三點。第一,技術來源于業務同時提升業務發展,業務發展又反過來推動技術的前進,他們是一個相互影響相互促進的關系。和業務共同發展的技術才是有生命力的。第二,成熟簡單的技術就是最合適的,這個理念一直貫穿始終。不要把事情復雜的形態呈現給大家,腦子要保持簡單,不要想那么復雜的事兒。第三,要把能遇到的場景盡量到考慮到,以后架構升級不至于很被動。大家看到初始的架構等于沒有架構,但是這種形式在這時是最符合業務需求的一個,能快速迭代,能非常方便上線。
面向多租戶的2.0在MaxWon1.0時代的時候,我們的關注點更偏向業務的實現,隨著用戶增長,性能和穩定性問題逐漸浮上水面,作為一個多租戶的應用系統,系統不穩定,是非常致命的,2.0解決這些問題也迫在眉睫。
首先要解決的就是服務分離。其中有兩種方案 :
每一個租戶APP都有屬于自己的 服務 Container,這樣就解決了租戶之間的相互影響。但是 大部分 APP 訪問點可能很小,甚至是僵尸應用。雖然Docker 容器使用的資源很小,但是大量的不活躍應用還是會浪費掉太多的系統資源,資源利用率低。
按租戶的真實的訪問量劃分為不同的組,普通規模應用或者是僵尸應用都公用同一組Container,中等規模應用 某幾個使用一組Container,對于大量數據流量的應用 獨占 同一組Container,這樣的話資源利用率就會很高。缺點就是 普通規模和中等規模應用 服務之間還是會有影響,由于這兩種規模的數據訪問的會少很多,出現慢查詢而導致拖慢整個系統的可能性會很小。
對比上面的兩個方案優缺點,基于現實的考慮最終選擇了第二種方案。這就需要能夠隨時監控APP的數據訪問量,當某個APP訪問量快速上升時能夠隨時獨立出服務來,這樣就可以最大限度的防止租戶之前相互影響而產生的服務抖動。
對于服務監控,則采用心跳檢測的方式,每個服務Container對外暴露一組健康檢查的接口,監控系統會定時的巡視所有服務的健康狀態,如果由于某種原因被Kill掉,則重啟對應Container的并產生告警。
對于數據存儲分離 也采用了同樣的思路。對于Mongo ,Pandora本身就支持按不同App 數據分治。對于Mysql代理則采用 MaxLeap 研發的 Circe組件,可以實現不同App數據的隔離。使用AWS ELB 解決了Circe的負載均衡與高可用。
2.0的采用了服務和數據分離的思想,現在回顧也并不復雜,對于碼農來說這種思想已經是非常熟悉的了。如果你的產品功能不多,迭代不是很快,可以放慢一下腳步,停下來一段時間來集中一次重構。但對于MaxWon來說這一版本的迭代就像是鳥槍換炮,滿足了大部分的應用場景。對于業務快速迭代,上線時間緊迫的系統來說,這次重構也是一個不小的挑戰。
繼承了原有1.0的特點,保留了其優勢
解決了數據和服務隔離與擴容的問題
實現不同租戶的差異化服務
添加了服務監控與檢查
使用docker 構建可以完美的解決環境沖突的問題,也可以方便快速部署和擴容。
FROM 10.10.10.160:8010/maxleap/vertx:3.2.1 MAINTAINER ben.ma#----------------------------Copy 項目目錄到容器里------------------------------------------ RUN mkdir -p /opt/maxwon #覆蓋vert.x 相關配置 ADD lib/ $VERTX_HOME/lib/ ADD log4j2.xml $VERTX_HOME/conf/ ADD zookeeper.properties $VERTX_HOME/conf/ ADD config.json /opt/maxwon/ WORKDIR /opt/maxwon ENTRYPOINT ["vertx", "run", "java-hk2:as.leap.ama.module.jersey.JerseyVerticle", "--conf", "config.json"]
通過spotify docker-maven-plugin 插件,根據事先定義在項目中的DockerFile可以輕松的把項目打包成可執行的docker Image并push到生產環境中。
$ mvn clean deploy -DpushImage -Pcn
Hydra: 海德拉 古希臘神話人物,是一種傳說中有九個頭的大蛇,為冥王看守門戶。在這里Hydra 作為 MaxWon的API網關,管理來自不同端的請求,根據請求的來源轉發到相應的的MaxWon的服務容器組中。同時它也會管理和監控容器狀態以及對服務的動態擴容。
Circe:希臘神話里一個能制造幻覺的女巫,這里用來隱喻能夠制造Mysql服務的代理的項目.通過它可以實現不同租戶的數據隔離,過濾非法,有毒的sql語句,保證數據隱私和安全。
Pandora:訪問MongoDB的基礎組件,也是MaxLeap 核心組件之一,提供了同步和異步的兩種接口。Pandora最為核心的功能是實現了資源限制和數據庫訪問的路由策略,這對數據庫進行平滑的動態擴展及遷移提供了可靠的支持。感興趣的可以參考同事寫的MONGO 集群設計
總結脫離業務談架構都是扯淡,利用技術手段提升工作效率是好事,別陷進去,產品最終拿出來說話的還是有沒有解決用戶的問題,而不是解決你自己的問題。對于MaxWon 這種快速迭代的系統,系統也會考慮更多的業務場景,體積也越來越龐大,遇到棘手的問題也會越來越多,做好優化的準備。
系統要盡量保持簡單,技術架構的選型建議是尋找當前最短路徑,然后進行不斷優化迭代,想一口吃個大胖子不太可能。
代碼不要寫死。
本文作者來自 MaxLeap 團隊_數據服務組 成員:馬傳林
馬傳林,從事開發工作已經有5年。當前在MaxLeap數據服務組擔任開發工程師,主要負責MaxWon服務器開發。
本文鏈接:https://blog.maxleap.cn/archives/734
歡迎關注微信訂閱號:從移動到云端
歡迎加入我們的MaxLeap活動QQ群:555973817,我們將不定期做技術分享活動。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/65919.html
摘要:作為一款優秀的平臺系統,其云代碼的功能如何,是如何實現的,又有哪些加分項,接下來將為大家一一揭曉。當然為了開發者更快的開始,同時提供了和項目來讓開發者更快接觸云代碼。 云代碼的由來 隨著MBaaS的發展,取代移動企業應用程序平臺的趨勢也越來越明顯。MBaaS系統為了讓企業能方便快捷的開發自己移動應用程序,提供了諸多移動客戶端支持,有最通用的REST API,也有方便移動開發者的軟件開發...
摘要:應用的研發上線運維運營形成閉環,順利完成從對內服務到公共平臺的升級。從功能角度,只能支持靜態方式設置反向代理,然后,而平臺有服務對應的后端服務和端口是有動態調整需求。架構上是基礎組件需要進行升級,數據訪問層日志監控系統等。 介紹 ? ? ? ?MaxLeap早期是一家研發、運營移動應用和手機游戲公司,發展過程中積累了很多通用組件。這些組件很大程度幫公司在移動研發過程中節省了時間和成本,...
摘要:創建一個強大可靠的云架構對于和企業的長期成功來說是至關重要的。高效的云架構不是憑空出現的。改變你的云存儲方案宣稱,專注于一種存儲類型不是一個好的選擇。此外,為不同的數據集利用不同的云存儲選項也可以帶來性能,成本和功能上的優勢。創建一個強大可靠的云架構對于IT和企業的長期成功來說是至關重要的。遺憾的是,許多云架構都是在近幾年的時間內隨意構建的,無法滿足技術和業務快速發展所帶來的需求增長。如果您...
摘要:是一名行業專家,在其職業生涯中,一直密切關注云計算和數據中心市場的發展,并與一些大型全球組織合作開展項目。企業甚至可以通過等公司的解決方案獲得特定的云計算合作伙伴。企業不必將所有內容遷移到云中。許多組織計劃開始其云計算之旅。如今,數據中心還沒有消亡。但是,數據中心的發展確實發生了變化。Bill Kleyman是一名IT行業專家,在其職業生涯中,一直密切關注云計算和數據中心市場的發展,并與一些...
閱讀 728·2023-04-25 20:32
閱讀 2287·2021-11-24 10:27
閱讀 4532·2021-09-29 09:47
閱讀 2251·2021-09-28 09:36
閱讀 3648·2021-09-22 15:27
閱讀 2768·2019-08-30 15:54
閱讀 380·2019-08-30 11:06
閱讀 1278·2019-08-30 10:58