{JaCoV} ETL pipeline with GCP Dataflow and Apache Beam

16 Июля 12:30 - 14:00
  • java
  • gcp
  • sql
  • nosql
  • rest
  • rest api
  • apache

The solution in GCP to gather data from different data sources (SQL, NoSQL, REST) related to the API platform. Also, data were transformed and prepared for reporting and an analytic tool like Tableau or Data Studio. The developed solution includes the reliable and flexible architecture of the data pipeline, the data model design and data dictionary for reporting, the framework for data extraction and transformation from different sources, the orchestration engine for the data pipeline, the collection of reports in Tableau.
We plan to talk about the solution architecture and implementation of the framework for data extraction on Java and Apache beam.


Стоимость участия


Идут 0

Авторизуйтесь, чтобы оставлять комментарии

Перепечатка материалов dev.by возможна только с письменного разрешения редакции.
При цитировании обязательна прямая гиперссылка на соответствующие материалы. Пишите на [email protected].