Boaz_tweetviz

지하철 지연 등 안전 사고 관련된 뉴스는 실시간 트위터보다 뉴스가 늦게 나온다는 문제 존재. 안전 사고 관련 tweet들을 실시간으로 보여주는 대시보드 개발
실시간 데이터 파이프라인 구축 twitter api, Kafka, MongoDB Sink Connector 활용
클라우드 버전으로 GCP Cloud PubSub, DataFlow, BigQuery 활용 파이프라인 구축
PowerBI를 통한 대시보드 구축
소개링크

Name		Name	Last commit message	Last commit date
Latest commit History 13 Commits
__pycache__		__pycache__
static		static
templates		templates
.DS_Store		.DS_Store
README.md		README.md
TweetViz_Conference_BOAZ_Engineering_adv.pdf		TweetViz_Conference_BOAZ_Engineering_adv.pdf
apache_beam_test.py		apache_beam_test.py
frontend.py		frontend.py
gcp_dataflow.py		gcp_dataflow.py
sendBigquery.py		sendBigquery.py
spark_streaming.py		spark_streaming.py
tweet preprocessing.ipynb		tweet preprocessing.ipynb
tweet.json		tweet.json
tweetviz_image.jpg		tweetviz_image.jpg
twitter.py		twitter.py
twitter_json_processing.py		twitter_json_processing.py
twitter_pubsub.py		twitter_pubsub.py

Provide feedback