Pengembangan ETL: Langkah 11 Dalam Siklus Hidup Proyek Pengembangan BI

Tahap 5: Konstruksi/Pengembangan

Langkah 11: Pengembangan ETL (Extract/Transform/Load)

Beberapa aktivitas dalam pengembangan ETL
Aktivitas-aktivitas dalam Pengembangan ETL (Extract-Transform-Load)

Aktivitas-aktivitas dalam pengembangan ETL (Extract-Transform-Load) tidak harus dilakukan secara linear. Gambar disamping menunjukkan aktivitas mana saja yang dapat dilakukan secara bersamaan. Berikut di bawah ini adalah deskripsi secara singkat yang menjelaskan aktivitas-aktivitas yang berhubungan dengan langkah 11, yaitu: pengembangan ETL. [Baca juga: Proses ETL (Extract-Transform-Load)  dalam Data Warehouse dan Perancangan ETL (Extract-Transform-Load)]

1. Buat dan lakukan uji-unit terhadap proses ETL .

Di bawah arahan pemimpin developer ETL, program-program ETL harus dikembangkan untuk tiga set proses beban: beban untuk proses data permulaan, beban untuk proses data historical, dan beban untuk data incremental. Jika Anda berencana untuk menggunakan utilitas dari sistem manajemen database (DBMS) untuk mengisi/load database target BI, maka hanya program untuk ekstrak dan transformasi saja yang harus ditulis, termasuk program-program untuk membuat file-file beban akhir. Jika Anda berencana untuk menggunakan tool ETL, petunjuk (meta data teknis) untuk tool ETL harus dibuat. Semua program ETL yang ditulis/dibuat sendiri dan semua tool modul-modul ETL harus menjalani uji unit untuk kompilasi, fungsionalitas, dan pengeditan.

2. Integrasi atau lakukan tes-regresi pada proses ETL.

Setelah Anda lakukan uji-unit untuk semua program ETL atau program modul secara individual, seluruh aliran proses ETL harus diuji. Hal ini dilakukan dengan pengujian integrasi pada rilis pertama dan dengan pengujian regresi pada rilis berikutnya. Kedua jenis pengujian harus dilakukan dalam rencana uji formal dengan berbagai macam kasus pengujian, hasil-hasil tes yang diharapkan, hasil-hasil tes yang sebenarnya, dan log dari tes yang berjalan.

3. Uji-kinerja pada proses ETL.

Karena banyak database target BI adalah database yang sangat besar (VLDBs), sangatlah penting untuk melakukan 'stress test' pada program-program yang dipilih atau pada modul-modul tool ETL. Lakukan 'stress test' dengan data volume penuh pada program-program tersebut atau modul-modul tool ETL yang melakukan proses 'read/write' ke tabel yang bervolume tinggi dan yang melakukan operasi yang rumit dan kompleks, terutama ketika berjalan secara paralel pada tabel bervolume tinggi. Uji/tes kinerja juga dapat disimulasikan dengan berbagai tool simulasi 'stress test'.

4. Uji 'quality assurance' (QA) pada proses ETL.

Sebagian besar organisasi tidak mengijinkan program-program untuk dipindahkan ke dalam fase produksi sampai semuanya telah melewati proses uji QA. Uji/tes ini biasanya dijalankan di bawah pengawasan staf operasi di lingkungan QA yang terpisah.

5. Uji penerimaan (UAT / user acceptance test) proses ETL.

Jika perwakilan dari orang-orang bisnis dan ahli dari subyek terkait telah terlibat secara aktif dalam kegiatan integrasi atau uji regresi, maka uji/tes penerimaan (UAT atau user acceptance test) harus sedikit diatas sertifikasi resmi dari perwakilan orang-orang bisnis. Jika mereka tidak terlibat, semua fungsi dari proses ETL harus divalidasi supaya lengkap dan benar, terutama proses rekonsiliasi.

Seri Siklus Hidup Proyek Pengembangan BI (Business Intelligence):
Kategori: ,

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)