Dokumentasi Dataset & Pipeline Preprocessing
Rincian lengkap asal dataset harga pangan, skema kamus data (data dictionary), serta langkah-langkah preprocessing cloud computing.
Sumber Dataset Asli
Data primer diperoleh secara resmi melalui portal Badan Pangan Nasional (Bapanas) dan sistem pemantauan harga pangan nasional SiPangan.
Cakupan Wilayah & Komoditas
Dataset dibatasi pada komoditas pangan strategis yang paling berdampak langsung pada inflasi nasional di 8 provinsi utama.
Pipeline Tahapan Pengolahan Data (Preprocessing)
Data Cleaning
Penghapusan nilai kosong, outlier tak logis, & baris duplikat.
Feature Engineering
Ekstraksi fitur time-lag (t-1), moving average 3 bulan, & volatilitas.
Label Encoding
Transformasi fitur kategori ke numerik agar terbaca model ML.
Model Training
Pelatihan model regresi, klasifikasi, & klasterisasi di notebook.
Export Bundle
Ekspor model dan preprocessing scaler ke file model_bundle.pkl.
Kamus Data Fitur (Data Dictionary)
| Nama Fitur (Column) | Tipe Data & Rekayasa | Deskripsi Arti Fitur |
|---|---|---|
| tahun | Numerik (Integer) | Tahun pencatatan harga pangan. |
| bulan | Kategori (String) | Nama bulan pencatatan harga. |
| komoditas | Kategori (String) | Nama komoditas pangan pokok (misal: Beras Medium, Cabai Rawit Merah). |
| provinsi | Kategori (String) | Wilayah administratif tingkat provinsi (cakupan 8 wilayah studi). |
| harga | Numerik (Float) | Nominal harga eceran rata-rata bulanan konsumen (Rupiah/Kg). |
| harga_sebelumnya | Numerik (Float) - Fitur Lag-1 | Nilai harga eceran pada satu bulan sebelumnya. |
| rata_rata_3_bulan | Numerik (Float) - Fitur Moving Average | Rata-rata bergerak harga pangan selama 3 bulan terakhir. |
| volatilitas_3_bulan | Numerik (Float) - Fitur Risiko | Standar deviasi pergerakan harga selama 3 bulan terakhir. |
| perubahan_harga | Numerik (Float) | Selisih perubahan nominal harga dari bulan sebelumnya. |
| persentase_kenaikan | Numerik (Float) | Rasio persentase kenaikan harga dibanding bulan sebelumnya. |
Optimalisasi Preprocessing Cloud Computing
Dalam arsitektur cloud computing, rekayasa fitur (feature engineering) sengaja dilakukan secara terpusat pada tahap awal di notebook menggunakan pustaka Pandas dan Scikit-Learn. Penambahan fitur lag-1 (harga bulan sebelumnya) dan moving average 3 bulan sangat krusial dalam memperkecil nilai error model regresi.
Label encoders disimpan secara rapi dalam struktur berkas JSON encoder_mapping.json. Ketika client mengirimkan nama komoditas (misal: "Beras Medium") ke API, API akan langsung memetakan nama tersebut ke kode angka integer (misal: "1") agar kompatibel dengan input matriks numpy model Random Forest.