k8s與數(shù)據(jù)分析--利用redash做自助數(shù)據(jù)分析

lykops 發(fā)布于2019-07-01 16:45 / 1204人閱讀

摘要：通過數(shù)據(jù)分析和挖掘，讓數(shù)據(jù)產(chǎn)生價值。數(shù)據(jù)可視化是大數(shù)據(jù)的最后一公里，做好可視化是對于數(shù)據(jù)分析是重要的。今天，主要介紹這款數(shù)據(jù)分析的利器。相比除了上手簡單，支持等時序數(shù)據(jù)庫。這點對于監(jiān)控數(shù)據(jù)分析很有優(yōu)勢。數(shù)據(jù)源包括時序數(shù)據(jù)庫，和業(yè)務(wù)庫。

前言

在之前文章中，一直講prometheus的metrics以及apm的指標(biāo)的重要性，多側(cè)重于收據(jù)的收集和存儲。如果不對這些數(shù)據(jù)進行數(shù)據(jù)分析，那么就沒有收集的意義了。通過數(shù)據(jù)分析和挖掘，讓數(shù)據(jù)產(chǎn)生價值。一直以來我認為devops必須是一個閉環(huán)，即apm，日志，監(jiān)控著三大系統(tǒng)的數(shù)據(jù)，必須經(jīng)過分析對dev和ops有價值。
數(shù)據(jù)可視化是大數(shù)據(jù)的『最后一公里』，做好可視化是對于數(shù)據(jù)分析是重要的。
今天，主要介紹redash這款數(shù)據(jù)分析的利器。

redash簡介

redash是一款開源的BI工具，提供了基于web的數(shù)據(jù)庫查詢和數(shù)據(jù)可視化功能。

支持 SQL, NoSQL, Big Data and API data等20幾種常見的數(shù)據(jù)源：

基本上滿足了大多數(shù)的場景。相比
superset,除了上手簡單，支持influxdb等時序數(shù)據(jù)庫。這點對于監(jiān)控數(shù)據(jù)分析很有優(yōu)勢。

sql友好的SQL editor，更加高效的編寫復(fù)雜的sql

隨時寫，隨時查，實時看到查詢的效果

支持豐富的可視化展示形式

Boxplot

Chart - Line, Bar, Area, Pie, Scatter

Cohort

Counter

Funnel

Map

Pivot Table

Sankey

Sunburst

Word Cloud

角色權(quán)限相關(guān)，支持ldap等，方便與企業(yè)內(nèi)部的用戶體系打通。

安裝和簡單使用 安裝

如果是想直接體驗的話，docker-compose部署最簡單，redashgithub倉庫中直接提供了docker-compose.production.yml文件，直接docker-compose up -d 即可。

# This is an example configuration for Docker Compose. Make sure to atleast update
# the cookie secret & postgres database password.
#
# Some other recommendations:
# 1. To persist Postgres data, assign it a volume host location.
# 2. Split the worker service to adhoc workers and scheduled queries workers.
version: "2"
services:
  server:
    image: redash/redash:latest
    command: server
    depends_on:
      - postgres
      - redis
    ports:
      - "5000:5000"
    environment:
      PYTHONUNBUFFERED: 0
      REDASH_LOG_LEVEL: "INFO"
      REDASH_REDIS_URL: "redis://redis:6379/0"
      REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"
      REDASH_COOKIE_SECRET: veryverysecret
      REDASH_WEB_WORKERS: 4
    restart: always
  worker:
    image: redash/redash:latest
    command: scheduler
    environment:
      PYTHONUNBUFFERED: 0
      REDASH_LOG_LEVEL: "INFO"
      REDASH_REDIS_URL: "redis://redis:6379/0"
      REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"
      QUEUES: "queries,scheduled_queries,celery"
      WORKERS_COUNT: 2
    restart: always
  redis:
    image: redis:3.0-alpine
    restart: always
  postgres:
    image: postgres:9.5.6-alpine
    # volumes:
    #   - /opt/postgres-data:/var/lib/postgresql/data
    restart: always
  nginx:
    image: redash/nginx:latest
    ports:
      - "80:80"
    depends_on:
      - server
    links:
      - server:redash
    restart: always

通過compose文件可以看出，redash依賴redis和pgsql數(shù)據(jù)庫。redis用來緩存一些查詢result，而pgsql是元數(shù)據(jù)庫，目前不支持mysql替換pgsql。

其他安裝方式，見官方文檔

簡單使用

先上一張實際的效果圖：

包含了couter和area chart。
數(shù)據(jù)源包括influxdb時序數(shù)據(jù)庫，和mysql業(yè)務(wù)庫。

其中audit-middware 其實是Query Results庫。Query Results Data Source 允許你在一些已經(jīng)存在的查詢結(jié)果之上再做一些高級的查詢, 這樣就可以輕易合并一些查詢結(jié)果。

總結(jié)

在實際使用中，redash和superset各有優(yōu)劣。根據(jù)自己的場景來選擇吧。查閱資料的過程中，已經(jīng)有人對redash做了二次開發(fā)，這也許是深度使用的必經(jīng)之路。
為什么非要使用這種開源BI可視化工具？
因為如果是前后端配合的話，工作量會很大。而且也很難實現(xiàn)隨時修改隨時上線。不過這取決于前期數(shù)據(jù)的完整性。