FlatBuffers初探，flatbuffers

FlatBuffers初探，flatbuffers

我第一次知道FlatBuffers是因為Facebook寫的這篇Android的技術博客文章。它主要介紹了FlatBuffers對比JSON的優勢，以及Facebook Android App應用了FlatBuffers後，衍生的數據和界面更新的工作流轉模式。建議去讀一讀，作者還是一個中國人哦。

下面開始介紹了一下FlatBuffers，首先看看它和JSON的對比。

先引用GitHub frogermcs/FlatBuffs上的兩張Gif效果圖.

那個Loading菊花是干什麼的呢？點擊上下兩個按鈕開始數據解析，而數據解析是故意放在主線程上執行，而Loading菊花能直觀的辨別解析過程有沒有導致UI卡頓。

左圖，點擊"PARSE JSON"按鈕是用的Gson解析了一個468KB的Json文件，耗時200-300ms。

右圖，點擊"USE FLATBUFFERS"，是“解析”同樣的Json數據但是用FlatBuffers特有的數據格式文件repos_flat.bin。耗時是<10ms。FlatBuffers“解析”的過程，Loading菊花一直保持著流暢的轉動。

FlatBuffers到底有什麼樣的魔術，能比JSON快這麼多呢？

其實FlatBuffers實際並沒有做數據的解析，repos_flat.bin是按照FlatBuffers數據組織格式生成的Byte數組。

FlatBuffer的數據解析是靠一層層的offset偏移量的組合計算定位到數據在Byte數組的位置，進而獲取目標數據的值 。所以FlatBuffer是需要什麼數據，才解析什麼數據，並不需要全量解析。

簡單說，FlatBuffers分為vtable區和數據區。vtable區保存的是數據的偏移值，數據區保存的是具體的數據值。

FlatBuffers的優點和缺點

優點：

1. 數據都是從Byte數組中獲取，減少解析過程的內存占用，減低了GC發生概率。

    Memory Efficient Serialization Library，FlatBuffers是這麼描述自己的。

    這裡有別人做的內存檢測的數據。

2. 無需全量解析，用到的數據才需要解析。

    想象一個很長的ListView，並不需要在初始狀態就把所有的數據都解析出來。滾動到可見狀態的item的數據，才需要被解析。

缺點：

1. 數據獲取都是偏移量計算的解析過程，嵌套層級深的數據，可能帶來性能問題。

2. 不自行做數據緩存的話，每次獲取同樣的數據會有重復計算。

3. Byte數據安全性和完整性有顧慮。也有人專門寫博客表明不會用FlatBuffer哈哈。

FlatBuffers的應用

FlatBuffers還可以“解析”JSON，實際是把JSON數據生成FlatBuffers格式的Byte數組。

如上圖，中間的按鈕“PARSE JSON(FLATBUFFERS)”點擊執行後解析468KB同樣的JSON文件，比Gson節省了約40%的耗時。

作為應用FlatBuffers的切入點，參考著的frogermsc GitHub Demo，我嘗試把FlatBuffer解析JSON應用到工作項目中。

步驟：

1. 使用FlatBuffers需要引入2個SO和一個JAR，合計1MB；

2. 根據待解析的數據，要寫一個schema文件如下，類似於protocolBuffer的.proto文件的作用；

namespace RankDetail;

table RankDetail {
    code : int;
    msg : string;
}

root_type RankDetail;

3. 通過命令行，根據schema生成相關解析後數據讀取的Java類，這個步驟也類似protocolBuffer；

遇到的問題：

1. schema文件的Key-value對的Key不能數字開頭，如下的123key是不符合要求的；

    原因是因為，FlatBuffers是直接獲取schema文件內的這種key-value的key的值作為方法名字和變量名字，阿拉伯數字開頭的變量名和方法名是不合法的。

namespace RankDetail;

table RankDetail {
    code : int;
    msg : string;
    123key : string;
}

root_type RankDetail;

2. 解析是在SO的native代碼，遇到失敗就會native crash，缺少有用的解析失敗的日志信息，增加開發調試的難度和時間。

FlatBuffers最大的威力是解析他自家格式的Byte數組（參考文章開頭的GIF對比），應用到正式環境的功能，需要後台請求返回的數據是FlatBuffers格式的Bytes數組。另外，FlatBuffers解析的容錯性目前還有待完善提升。但以後，FlatBuffers會是減少內存占用、提升用戶體驗的利器。