国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

for-loop 與 json.Unmarshal 性能分析概要

zorro / 1419人閱讀

摘要:原文地址與性能分析概要前言在項目中,常常會遇到循環交換賦值的數據處理場景,尤其是,數據交互格式要轉為,賦值是無法避免的。如下預編譯生成代碼提前確定類型,可以解決運行時的反射帶來的性能開銷。

原文地址:for-loop 與 json.Unmarshal 性能分析概要

前言

在項目中,常常會遇到循環交換賦值的數據處理場景,尤其是 RPC,數據交互格式要轉為 Protobuf,賦值是無法避免的。一般會有如下幾種做法:

for

for range

json.Marshal/Unmarshal

這時候又面臨 “選擇困難癥”,用哪個好?又想代碼量少,又擔心性能有沒有影響啊...

為了弄清楚這個疑惑,接下來將分別編寫三種使用場景。來簡單看看它們的性能情況,看看誰更 “好”

功能代碼

</>復制代碼

  1. ...
  2. type Person struct {
  3. Name string `json:"name"`
  4. Age int `json:"age"`
  5. Avatar string `json:"avatar"`
  6. Type string `json:"type"`
  7. }
  8. type AgainPerson struct {
  9. Name string `json:"name"`
  10. Age int `json:"age"`
  11. Avatar string `json:"avatar"`
  12. Type string `json:"type"`
  13. }
  14. const MAX = 10000
  15. func InitPerson() []Person {
  16. var persons []Person
  17. for i := 0; i < MAX; i++ {
  18. persons = append(persons, Person{
  19. Name: "EDDYCJY",
  20. Age: i,
  21. Avatar: "https://github.com/EDDYCJY",
  22. Type: "Person",
  23. })
  24. }
  25. return persons
  26. }
  27. func ForStruct(p []Person, count int) {
  28. for i := 0; i < count; i++ {
  29. _, _ = i, p[i]
  30. }
  31. }
  32. func ForRangeStruct(p []Person) {
  33. for i, v := range p {
  34. _, _ = i, v
  35. }
  36. }
  37. func JsonToStruct(data []byte, againPerson []AgainPerson) ([]AgainPerson, error) {
  38. err := json.Unmarshal(data, &againPerson)
  39. return againPerson, err
  40. }
  41. func JsonIteratorToStruct(data []byte, againPerson []AgainPerson) ([]AgainPerson, error) {
  42. var jsonIter = jsoniter.ConfigCompatibleWithStandardLibrary
  43. err := jsonIter.Unmarshal(data, &againPerson)
  44. return againPerson, err
  45. }
測試代碼

</>復制代碼

  1. ...
  2. func BenchmarkForStruct(b *testing.B) {
  3. person := InitPerson()
  4. count := len(person)
  5. b.ResetTimer()
  6. for i := 0; i < b.N; i++ {
  7. ForStruct(person, count)
  8. }
  9. }
  10. func BenchmarkForRangeStruct(b *testing.B) {
  11. person := InitPerson()
  12. b.ResetTimer()
  13. for i := 0; i < b.N; i++ {
  14. ForRangeStruct(person)
  15. }
  16. }
  17. func BenchmarkJsonToStruct(b *testing.B) {
  18. var (
  19. person = InitPerson()
  20. againPersons []AgainPerson
  21. )
  22. data, err := json.Marshal(person)
  23. if err != nil {
  24. b.Fatalf("json.Marshal err: %v", err)
  25. }
  26. b.ResetTimer()
  27. for i := 0; i < b.N; i++ {
  28. JsonToStruct(data, againPersons)
  29. }
  30. }
  31. func BenchmarkJsonIteratorToStruct(b *testing.B) {
  32. var (
  33. person = InitPerson()
  34. againPersons []AgainPerson
  35. )
  36. data, err := json.Marshal(person)
  37. if err != nil {
  38. b.Fatalf("json.Marshal err: %v", err)
  39. }
  40. b.ResetTimer()
  41. for i := 0; i < b.N; i++ {
  42. JsonIteratorToStruct(data, againPersons)
  43. }
  44. }
測試結果

</>復制代碼

  1. BenchmarkForStruct-4 500000 3289 ns/op 0 B/op 0 allocs/op
  2. BenchmarkForRangeStruct-4 200000 9178 ns/op 0 B/op 0 allocs/op
  3. BenchmarkJsonToStruct-4 100 19173117 ns/op 2618509 B/op 40036 allocs/op
  4. BenchmarkJsonIteratorToStruct-4 300 4116491 ns/op 3694017 B/op 30047 allocs/op

從測試結果來看,性能排名為:for < for range < json-iterator < encoding/json。接下來我們看看是什么原因導致了這樣子的排名?

性能對比

for-loop

在測試結果中,for range 在性能上相較 for 差。這是為什么呢?在這里我們可以參見 for range 的 實現,偽實現如下:

</>復制代碼

  1. for_temp := range
  2. len_temp := len(for_temp)
  3. for index_temp = 0; index_temp < len_temp; index_temp++ {
  4. value_temp = for_temp[index_temp]
  5. index = index_temp
  6. value = value_temp
  7. original body
  8. }

通過分析偽實現,可得知 for range 相較 for 多做了如下事項

Expression

</>復制代碼

  1. RangeClause = [ ExpressionList "=" | IdentifierList ":=" ] "range" Expression .

在循環開始之前會對范圍表達式進行求值,多做了 “解” 表達式的動作,得到了最終的范圍值

Copy

</>復制代碼

  1. ...
  2. value_temp = for_temp[index_temp]
  3. index = index_temp
  4. value = value_temp
  5. ...

從偽實現上可以得出,for range 始終使用值拷貝的方式來生成循環變量。通俗來講,就是在每次循環時,都會對循環變量重新分配

小結

通過上述的分析,可得知其比 for 慢的原因是 for range 有額外的性能開銷,主要為值拷貝的動作導致的性能下降。這是它慢的原因

那么其實在 for range 中,我們可以使用 _T[i] 也能達到和 for 差不多的性能。但這可能不是 for range 的設計本意了

json.Marshal/Unmarshal encoding/json

json 互轉是在三種方案中最慢的,這是為什么呢?

眾所皆知,官方的 encoding/json 標準庫,是通過大量反射來實現的。那么 “慢”,也是必然的。可參見下述代碼:

</>復制代碼

  1. ...
  2. func newTypeEncoder(t reflect.Type, allowAddr bool) encoderFunc {
  3. ...
  4. switch t.Kind() {
  5. case reflect.Bool:
  6. return boolEncoder
  7. case reflect.Int, reflect.Int8, reflect.Int16, reflect.Int32, reflect.Int64:
  8. return intEncoder
  9. case reflect.Uint, reflect.Uint8, reflect.Uint16, reflect.Uint32, reflect.Uint64, reflect.Uintptr:
  10. return uintEncoder
  11. case reflect.Float32:
  12. return float32Encoder
  13. case reflect.Float64:
  14. return float64Encoder
  15. case reflect.String:
  16. return stringEncoder
  17. case reflect.Interface:
  18. return interfaceEncoder
  19. case reflect.Struct:
  20. return newStructEncoder(t)
  21. case reflect.Map:
  22. return newMapEncoder(t)
  23. case reflect.Slice:
  24. return newSliceEncoder(t)
  25. case reflect.Array:
  26. return newArrayEncoder(t)
  27. case reflect.Ptr:
  28. return newPtrEncoder(t)
  29. default:
  30. return unsupportedTypeEncoder
  31. }
  32. }

既然官方的標準庫存在一定的 “問題”,那么有沒有其他解決方法呢?目前在社區里,大多為兩類方案。如下:

預編譯生成代碼(提前確定類型),可以解決運行時的反射帶來的性能開銷。缺點是增加了預生成的步驟

優化序列化的邏輯,性能達到最大化

接下來的實驗,我們用第二種方案的庫來測試,看看有沒有改變。另外也推薦大家了解如下項目:

json-iterator/go

mailru/easyjson

pquerna/ffjson

json-iterator/go

目前社區較常用的是 json-iterator/go,我們在測試代碼中用到了它

它的用法與標準庫 100% 兼容,并且性能有較大提升。我們一起粗略的看下是怎么做到的,如下:

reflect2

利用 modern-go/reflect2 減少運行時調度開銷

</>復制代碼

  1. ...
  2. type StructDescriptor struct {
  3. Type reflect2.Type
  4. Fields []*Binding
  5. }
  6. ...
  7. type Binding struct {
  8. levels []int
  9. Field reflect2.StructField
  10. FromNames []string
  11. ToNames []string
  12. Encoder ValEncoder
  13. Decoder ValDecoder
  14. }
  15. type Extension interface {
  16. UpdateStructDescriptor(structDescriptor *StructDescriptor)
  17. CreateMapKeyDecoder(typ reflect2.Type) ValDecoder
  18. CreateMapKeyEncoder(typ reflect2.Type) ValEncoder
  19. CreateDecoder(typ reflect2.Type) ValDecoder
  20. CreateEncoder(typ reflect2.Type) ValEncoder
  21. DecorateDecoder(typ reflect2.Type, decoder ValDecoder) ValDecoder
  22. DecorateEncoder(typ reflect2.Type, encoder ValEncoder) ValEncoder
  23. }
struct Encoder/Decoder Cache

類型為 struct 時,只需要反射一次 Name 和 Type,會緩存 struct Encoder 和 Decoder

</>復制代碼

  1. var typeDecoders = map[string]ValDecoder{}
  2. var fieldDecoders = map[string]ValDecoder{}
  3. var typeEncoders = map[string]ValEncoder{}
  4. var fieldEncoders = map[string]ValEncoder{}
  5. var extensions = []Extension{}
  6. ....
  7. fieldNames := calcFieldNames(field.Name(), tagParts[0], tag)
  8. fieldCacheKey := fmt.Sprintf("%s/%s", typ.String(), field.Name())
  9. decoder := fieldDecoders[fieldCacheKey]
  10. if decoder == nil {
  11. decoder = decoderOfType(ctx.append(field.Name()), field.Type())
  12. }
  13. encoder := fieldEncoders[fieldCacheKey]
  14. if encoder == nil {
  15. encoder = encoderOfType(ctx.append(field.Name()), field.Type())
  16. }
文本解析優化
小結

相較于官方標準庫,第三方庫 json-iterator/go 在運行時上做的更好。這是它快的原因

有個需要注意的點,在 Go1.10 后 map 類型與標準庫的已經沒有太大的性能差異。但是,例如 struct 類型等仍然有較大的性能提高

總結

在本文中,我們首先進行了性能測試,再分析了不同方案,得知為什么了快慢的原因。那么最終在選擇方案時,可以根據不同的應用場景去抉擇:

對性能開銷有較高要求:選用 for,開銷最小

中規中矩:選用 for range,大對象慎用

量小、占用小、數量可控:選用 json.Marshal/Unmarshal 的方案也可以。其重復代碼少,但開銷最大

在絕大多數場景中,使用哪種并沒有太大的影響。但作為工程師你應當清楚其利弊。以上就是不同的方案分析概要,希望對你有所幫助 :)

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/30119.html

相關文章

  • 通過 Go 在去中心化交易所OceanOne上掛單買賣Bitcoin

    摘要:方案二掛單交易所是基于的去中心化交易所,它性能一流。完整的步驟如下檢查比特幣或的余額,錢包地址。比特幣的到帳時間是個區塊的高度,約分鐘。 showImg(https://segmentfault.com/img/remote/1460000018378805?w=1200&h=659); 上一章介紹了Exincore,你可以1秒完成資產的市價買賣。如果你想限定價格買賣,或者買賣一些ex...

    vincent_xyb 評論0 收藏0
  • Python語法糖——for/else循環語句里的break

    摘要:在中的或者循環之后還可以有子句,作用是循環中條件一直不滿足,則最后就執行語句。而當循環是由語句中斷時,就不被執行。等效于下面這段代碼,可以類似語言那樣添加一個與語句相似,語句中的子句用法是一樣的,塊在循環正常結束和循環條件不成立時執行。 在Python中的while或者for循環之后還可以有else子句,作用是for循環中if條件一直不滿足,則最后就執行else語句。 for i in...

    missonce 評論0 收藏0
  • 基于Mixin Network的Go語言比特幣開發教程 : 創建一個比特幣錢包

    摘要:帳號之間的比特幣支付通過,我們可以先轉比特幣給機器人,然后讓機器人轉幣給新用戶。下面的代碼,可以讀取比特幣錢包余額讀取的余額,來確認比特幣是不是轉成功了注意是新用戶的。 showImg(https://github.com/wenewzhang/mixin_labs-go-bot/raw/master/Bitcoin_go.jpg);我們已經創建過一個回復消息的機器人和一個能自動支付比...

    legendaryedu 評論0 收藏0
  • 通過 Go 在去中心化交易所OceanOne上掛單買賣任意ERC20 token

    摘要:在上一課中,我們介紹了如何在交易比特幣。支持交易任何上的,包括所有的和,不需要任何手續和費用,直接掛單即可。下面介紹如何將將一個掛上交易在掌握了之后,就可以把任何在上買賣。 showImg(https://segmentfault.com/img/remote/1460000018378805?w=1200&h=659); 在上一課中,我們介紹了如何在OceanOne交易比特幣。Oce...

    ivydom 評論0 收藏0
  • Java 8 Stream的性能到底如何?

    摘要:而一個編譯器本身是有一個上限的,雖然大部分情況下是用不滿的。我們將此稱作友好或者不友好的分割。同時,也不要無緣無故就覺得人家損害了你應用的性能,那是你自己用得不好。 Java 8提供的流的基于Lambda表達式的函數式的操作寫法讓人感覺很爽,筆者也一直用的很開心,直到看到了Java8 Lambda表達式和流操作如何讓你的代碼變慢5倍,筆者當時是震驚的,我讀書少,你不要騙我。瞬間我似乎為...

    Sike 評論0 收藏0

發表評論

0條評論

zorro

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<