資訊專欄INFORMATION COLUMN
摘要：各個表數據的存儲文件名定義索引對象導出的字段信息依然用為例。通用處理索引類索引之間存在層級劃分，也就是相互之間擁有依賴關系的劃分加載全量索引其實是增量索引添加的一種特殊實現若初實現廣告推廣計劃的第二層級索引實現。
上一節我們實現了索引基本操作的類以及索引緩存工具類，本小節我們開始實現加載全量索引數據，在加載全量索引數據之前，我們需要先將數據庫中的表數據導出到一份文件中。Let"s code.
1.首先定義一個常量類，用來存儲導出文件存儲的目錄和文件名稱
因為我們導出的文件需要在搜索服務中使用到，因此，我們將文件名 & 目錄以及導出對象的信息編寫在mscx-ad-commom項目中。
public class FileConstant {
public static final String DATA_ROOT_DIR = "/Users/xxx/Documents/promotion/data/mysql/";
//各個表數據的存儲文件名
public static final String AD_PLAN = "ad_plan.data";
public static final String AD_UNIT = "ad_unit.data";
public static final String AD_CREATIVE = "ad_creative.data";
public static final String AD_CREATIVE_RELARION_UNIT = "ad_creative_relation_unit.data";
public static final String AD_UNIT_HOBBY = "ad_unit_hobby.data";
public static final String AD_UNIT_DISTRICT = "ad_unit_district.data";
public static final String AD_UNIT_KEYWORD = "ad_unit_keyword.data";
}
2.定義索引對象導出的字段信息,依然用Ad_Plan為例。
/** * AdPlanTable for 需要導出的表字段信息 => 是搜索索引字段一一對應 * * @author Isaac.Zhang | 若初 */ @Data @AllArgsConstructor @NoArgsConstructor public class AdPlanTable { private Long planId; private Long userId; private Integer planStatus; private Date startDate; private Date endDate; }
3.導出文件服務實現
同樣，最好的實現方式就是將導出服務作為一個子工程來獨立運行，我這里直接實現在了mscx-ad-db項目中
定義一個空接口，為了符合我們的編碼規范
/** * IExportDataService for 導出數據庫廣告索引初始化數據 * * @author Isaac.Zhang | 若初 */ public interface IExportDataService { }
實現service
@Slf4j
@Service
public class ExportDataServiceImpl implements IExportDataService {
@Autowired
private AdPlanRepository planRepository;
/**
* 導出 {@code AdPlan} from DB to File
*
* @param fileName 文件名稱
*/
public void exportAdPlanTable(String fileName) {
List planList = planRepository.findAllByPlanStatus(CommonStatus.VALID.getStatus());
if (CollectionUtils.isEmpty(planList)) {
return;
}
List planTables = new ArrayList<>();
planList.forEach(item -> planTables.add(
new AdPlanTable(
item.getPlanId(),
item.getUserId(),
item.getPlanStatus(),
item.getStartDate(),
item.getEndDate()
)
));
//將數據寫入文件
Path path = Paths.get(fileName);
try (BufferedWriter writer = Files.newBufferedWriter(path)) {
for (AdPlanTable adPlanTable : planTables) {
writer.write(JSON.toJSONString(adPlanTable));
writer.newLine();
}
writer.close();
} catch (IOException e) {
e.printStackTrace();
log.error("export AdPlanTable Exception!");
}
}
}
實現Controller，提供操作入口
@Slf4j
@Controller
@RequestMapping("/export")
public class ExportDataController {
private final ExportDataServiceImpl exportDataService;
@Autowired
public ExportDataController(ExportDataServiceImpl exportDataService) {
this.exportDataService = exportDataService;
}
@GetMapping("/export-plan")
public CommonResponse exportAdPlans() {
exportDataService.exportAdPlanTable(String.format("%s%s", FileConstant.DATA_ROOT_DIR, FileConstant.AD_PLAN));
return new CommonResponse();
}
}
結果文件內容如下，每一行都代表了一個推廣計劃
{"endDate":1561438800000,"planId":10,"planStatus":1,"startDate":1561438800000,"userId":10}
{"endDate":1561438800000,"planId":11,"planStatus":1,"startDate":1561438800000,"userId":10}
我們在之前編寫索引服務的時候，創建了一些索引需要使用的實體對象類，比如構建推廣計劃索引的時候，需要使用到的實體對象com.sxzhongf.ad.index.adplan.AdPlanIndexObject，可是呢，我們在上一節實現索引導出的時候，實體對象又是common 包中的com.sxzhongf.ad.common.export.table.AdPlanTable，讀取出來文件中的數據只能反序列化為JSON.parseObject(p, AdPlanTable.class)，我們需要將2個對象做相互映射才能創建索引信息。
1.首先我們定義一個操作類型枚舉，代表我們每一次的操作類型（也需要對應到后期binlog監聽的操作類型）
public enum OperationTypeEnum {
ADD,
UPDATE,
DELETE,
OTHER;
public static OperationTypeEnum convert(EventType type) {
switch (type) {
case EXT_WRITE_ROWS:
return ADD;
case EXT_UPDATE_ROWS:
return UPDATE;
case EXT_DELETE_ROWS:
return DELETE;
default:
return OTHER;
}
}
}
2.因為全量索引的加載和增量索引加載的本質是一樣的，全量索引其實就是一種特殊的增量索引，為了代碼的可復用，我們創建統一的類來操作索引。
