Program pelatihan Big Data Engineering membahas konsep dan implementasi teknologi Big Data modern, mulai dari data processing, distributed storage, NoSQL database, realtime processing, hingga Big Data pipeline melalui studi kasus dan hands-on lab berbasis industri.
Pelatihan ini cocok untuk:
- Data Engineer
- Software Developer
- Database Administrator
- IT Professional
- Mahasiswa dan fresh graduate bidang IT atau Data
Setelah mengikuti pelatihan ini, peserta diharapkan mampu:
- Memahami konsep fundamental Big Data dan Big Data Engineering
- Memahami teknologi distributed storage, NoSQL, dan data processing
- Mendesain Big Data pipeline dan realtime processing workflow
- Memahami MapReduce, parallel processing, dan graph data processing
- Mengimplementasikan scalable dan fault-tolerant Big Data solutions
- Memahami integrasi Big Data dengan cloud dan enterprise systems
- Menyelesaikan studi kasus Big Data Engineering melalui hands-on lab
Modul 1 — Fundamental Big Data Science & Analytics
Membahas dasar Big Data dan Data Analytics, termasuk karakteristik data, machine learning, analytics, Business Intelligence, visualisasi data, serta adopsi Big Data di organisasi.
Pokok Bahasan
- Memahami Big Data
- Terminologi dan Konsep Dasar Big Data
- Pendorong Bisnis Big Data dan Pendorong Teknologi
- Teknologi Enterprise Tradisional yang Berkaitan dengan Big Data
- OLTP, OLAP, ETL, dan Data Warehouse dalam Konteks Big Data
- Karakteristik dan Jenis Dataset Big Data
- Data Terstruktur, Tidak Terstruktur, dan Semi-Terstruktur
- Metadata dan Data Veracity
- Analisis Dasar dan Analitik
- Analisis Kuantitatif dan Kualitatif
- Jenis-jenis Machine Learning
- Analitik Deskriptif, Diagnostik, Prediktif, dan Preskriptif
- Business Intelligence dan Visualisasi Data
- Adopsi Big Data dan Pertimbangan Perencanaan
Modul 2 — Big Data Analysis & Technology Concepts
Membahas teknik analisis data modern dalam Big Data, termasuk statistik, machine learning, pendekatan analitik, serta teknologi backend dan cloud computing.
Pokok Bahasan:
- Siklus Hidup Analisis Big Data
- A/B Testing dan Korelasi
- Regresi dan Heat Map
- Time Series Analysis
- Analisis Jaringan dan Analisis Data Spasial
- Klasifikasi dan Clustering
- Collaborative Filtering dan Content-Based Filtering
- Analisis Sentimen dan Text Analytics
- Pemrosesan Beban Kerja Batch dan Transaksional
- Hubungan Cloud Computing dengan Big Data
- Mekanisme Teknologi Dasar Big Data
- Penyimpanan Data dan Processing Engines
- Resource Manager, Data Transfer Engine, dan Query Engine
- Analytics Engine, Workflow Engine, dan Coordination Engine
Modul 11 — Fundamental Big Data Engineering
Membahas dasar pengolahan dan penyimpanan Big Data, termasuk NoSQL, arsitektur penyimpanan data, dan pemrosesan terdistribusi menggunakan MapReduce.
Pokok Bahasan
- Teknik dan Tantangan Rekayasa Big Data
- Penyimpanan Big Data: Sharding, Replikasi, CAP Theorem, ACID, dan BASE
- Master-Slave dan Replikasi Peer-to-Peer
- Skalabilitas, Redundansi, dan Ketersediaan Data
- Penyimpanan Schema-less dan Penyimpanan Murah
- On-Disk Storage dan Sistem File Terdistribusi
- Pengantar NoSQL dan NewSQL
- Karakteristik dan Jenis Database NoSQL
- Mesin Pemrosesan Big Data
- Pemrosesan Data Terdistribusi dan Paralel
- Dukungan Multi-Beban Kerja dan Toleransi Kesalahan
- Pemrosesan Batch, Cluster, dan Real-Time
- MapReduce dan Komponennya
- Perancangan Algoritma MapReduce
- Paralelisme Tugas dan Paralelisme Data
Modul 12 — Advanced Big Data Engineering
Membahas teknik lanjutan Big Data seperti realtime processing, in-memory storage, Big Data pipeline, serta optimasi pemrosesan data menggunakan MapReduce dan BSP.
Pokok Bahasan:
- Mekanisme Rekayasa Big Data Lanjutan
- Mesin Serialisasi dan Kompresi
- Penyimpanan dan Database In-Memory
- Integrasi Read-Through, Read-Ahead, Write-Through, dan Write-Behind
- Polyglot Persistence
- Pemrosesan Big Data Real-Time
- Speed Consistency Volume (SCV)
- Event Stream Processing (ESP)
- Complex Event Processing (CEP)
- Prinsip SCV
- Pemrosesan Real-Time dan MapReduce
- Desain Algoritma MapReduce Lanjutan
- Bulk Synchronous Parallel (BSP)
- BSP vs. MapReduce
- Pemrosesan Data Graf menggunakan BSP
- Big Data Pipeline dan Tahapannya
- Extract-Load-Transform (ELT)
- Karakteristik dan Pertimbangan Desain Solusi Big Data
Modul 13 — Big Data Engineering Lab
Berisi studi kasus dan latihan praktis untuk menerapkan konsep Big Data Engineering dalam skenario bisnis dan teknis nyata.
Pokok Bahasan:
- Studi Kasus CFU
- Solusi Big Data untuk Kepatuhan Regulasi
- Peningkatan Kapabilitas Analisis Risiko
- Pengembangan Layanan Analitik Data
- Studi Kasus TCT
- Solusi Pengurangan Keterlambatan Layanan
- Solusi Pengurangan Biaya Operasional
- Studi Kasus TOB
- Penanganan Peningkatan Traffic Website
- Analisis Data Kampanye Iklan Pemasaran
