MOST105-2634-E-029-001-時空巨量資料分析平台之設計與實作

MOST106-2621-M-029-001-環境變遷下的永續都會治理:以台中市為例

MOST106-3114-M-029-001-A台灣空氣品質大數據監測平台、機器學習與政策模擬之跨領域研究

簡介

1. 本研究宗旨提供一個創新應用之研究環境,兼顧效能以及應用加值。實作方面,本系統分成二個階段。

2. 建立一個叢集的(HDFS)作儲存與Spark環境作運算,本研究使用ELK Stack作為視覺化平台與Ceph Object Storage作為資料備份。

3. 串接Open Data API自動導入空氣品質與類流感資料至MySQL。使用PHP篩選與調整環保署所提供的空氣品質及類流感資料,並使用MySQL作為前後端儲存。

4. 運算上,使用Sqoop將資料從MySQL導入HDFS,再使用Spark配合HDFS作為暫存,為了加速存取資料使用Alluxio成為兩端之橋梁。

5. 資料儲存在HDFS,自動傳輸到Alluxio記憶體中,讓Spark在記憶體環境讀取更加快速,由此環境能夠增進兩倍的速度讀取資料。最終由ELK Stack將空氣品質資料及類流感資料匯入,並透過此平台視覺化分析。

Software Architecture

Image

System Architecture

Image

Our Team

Chao-Tung Yang*
Distinguished Professor

ctyang@thu.edu.tw

Cai-Jin Chen
Postgraduate Student

amranchen@yahoo.com

Yuan-Ting Wang
Postgraduate Student

j8060172@yahoo.com.tw

Tzu-Yang Chen
Postgraduate Student

applepaoo@gmail.com

Jing-Fang Li
Postgraduate Student

mhu6ikb9@gmail.com

Ben-Siang Lu
Postgraduate Student

aloo31124@gmail.com

Po-Cheng Ko
Postgraduate Student

pocheng0605@gmail.com