Proses dalam Data Warehouse (Data Warehousing) - Seri Data Warehouse (2)

Bagaimanakah proses dalam data warehouse (atau disebut juga data warehousing)?

Proses dalam data warehouse atau data warehousing (catatan: istilah data warehouse mengacu ke tempat repository data sementara istilah data warehousing mengacu ke proses perjalanan data dari berbagai sumber data hingga masuk ke data warehouse) terdiri dari tahap-tahap berikut ini:

1. Data di-import dari berbagai sumber data internal maupun eksternal
2. Data di-cleansed atau dibersihkan dan diorganisir secara konsisten sesuai dengan kebutuhan perusahaan
3. a) Data di-load atau di-export atau dimasukkan ke data warehouse enterprise, atau b). Data di-load/export/di masukkan ke data marts [tentang definisi data marts bisa dibaca pada artikel sebelumnya tentang  Data Warehouse dan Beberapa Karakteristiknya di link ini]
4. a). Bila diinginkan, data marts dibuat sebagai subset atau bagian dari EDW (enterprise data warehouse), atau b) Data marts disatukan menjadi EDW
5. Analisa dilakukan ketika diperlukan

Apa saja yang menjadi komponen-komponen utama dari suatu data warehouse?

• Data sources: data bersumber dari berbagai sistem operasional dan mjngkin juga berasal dari berbagai sumber data eksternal.
• Data extraction: Data di-ekstrak dengan menggunakan software komersial atau bisa juga software yang dibuat sendiri yang biasa disebut dengan istilah ETL (Extract-Transform-Load) [Baca juga: Proses Extract-Transform-Load dalam Data Warehouse]
• Data loading: Data di-load/dimasukkan dalam staging area, dimana data di transform dan dibersihkan. Data kemudian siap untuk di-load ke data warehouse.
• Comprehensive database: Ini adalah EDW (Enterprise Data Warehouse) yang mendukung analisa pengambilan keputusan dengan memberikan informasi detil dan ringkas yang relevan.
• Metadata: Metadata di-maintain untuk akses oleh pengguna dan staf IT. Metadata meliputi berbagai rules untuk mengorganisir ringkasan data yang mudah untuk di-index dan di-search
• Middleware tools: Middleware tools memungkinkan akses ke data warehouse dari berbagai aplikasi front-end.

Apa peranan middleware dalam data warehouse?

Middleware memungkinkan akses ke data warehouse. Power users seperti misalkan data analis mungkin saja menuliskan kode-kode query SQL nya sendiri. Pengguna lain mungkin mengakses data melalui lingkungan query yang ter-managed. Ada banyak sekali aplikasi front-end yang bisa digunakan pengguna untuk berinteraksi dengan data yang disimpan dalam repository data, termasuk data mining, OLAP (Online Analytical Processing), berbagai piranti aplikasi untuk reporting, dan berbagai piranti visualisasi data. Semuanya aplikasi itu memiliki requirement-nya sendiri-sendiri dalam mengakses data. Middleware diperlukan untuk menghubungkan antara keduanya.

Berikut seri artikel tentang data warehouse:

1. Data Warehouse dan Beberapa Karakteristiknya
2. Proses dalam Data Warehouse (Data Warehousing)
3. Beberapa Alternatif Arsitektur Data Warehouse
4. Proses Extract-Transform-Load (ETL) dalam Data Warehouse
5. Pendekatan dalam Project Pengembangan Data Warehouse
6. Data Warehouse Real-Time
7. Administrasi dan Keamanan Data Warehouse