Arsitektur Data Warehouse

Definisi Arsitektur Data Warehouse :

Sebuah kerangka dengan mengidentifikasikan dan memahami bagaimana data akan pindah melalui sistem dan digunakan dalam perusahaan.

Karakteristik Arsitektur Data Warehouse :

• Data diambil dari sistem asal (sistem informasi yang ada), basis data dan file.
• Data dari sistem asal akan diintegrasikan dan ditransformasi sebelum disimpan ke dalam Database Management System (DBMS).
• Data warehouse adalah basis data terpisah yang sifatnya hanya read-only yang dibuat secara khusus untuk mendukung pengambilan keputusan.
• User mengakses data warehouse melalui aplikasi front end tool.

Area Kerja Arsitektur

Extract (Ekstraksi Data)

Ekstrasi data adalah sebuah proses dimana data diambil (diekstrak) dari berbagai sistem operasional menggunakan query atau aplikasi ETL. Fungsi dari ekstraksi data :

1. Ekstraksi data secara otomatis dari aplikasi sumber.
2. Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.
3. Pengiriman data dari berbagai platform aplikasi ke sumber data.
4. Penyaringan atau seleksi data hasil ekstraksi.
5. Perubahan format layout data dari format aslinya.

Transformation (Transformasi Data)

Transformasi adalah sebuah proses penyaringan dan pengubahan hasil ekstraksi data mentah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data :

1. Memetakan data input dari skema data aslinya ke skema data warehouse.
2. Mengkonversikan tipe data atau format data.
3. Pembuangan duplikasi dan kesalahan data.
4. Penghitungan nilai-nilai derivat atau mula-mula.
5. Penghitungan nilai-nilai agregat atau rangkuman.
6. Pemeriksaan integritas referensi data.
7. Pengisian nilai-nilai kosong dengan nilai default.
8. Penggabungan data.

Loading (Pengisian Data)

Proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat (load) data adalah dengan menjalankan SQLscript secara periodik.

Pendukung Data Flow :

• Data Source
• Repository
• End User

Data Source

     Komponen : Source Data

     Menangani : Ekstraksi dan penyimpanan

     Komponen : Data Staging

     Menangani : Transformasi, cleansing, dan integrasi

Repository

     Komponen : Data Storage

     Menangani : Loading dan penyimpanan

     Komponen : Metadata

     Menangani : Informasi tentang data

End User

     Komponen : Information Delivery

     Menangani : Data mart yang dependant, database multidimensi khusus, query dan pelaporan

Model Arsitektur Data Warehouse :

1. Generic Two-Level Architecture
2. Independent Data Mart
3. Dependent Data Mart
4. Logical Data Mart dan Real-Time Data Warehouse

• Generic Two-Level Architecture

  

Model arsitektur ini adalah data diekstrak dari berbagai sumber data (internal dan eksternal), kemudian data tersebut ditransformasikan terlebih dahulu sebelum dimasukkan ke sebuah data warehouse yang besar.

   Kelebihan :

• Seluruh data yang ada, disimpan ke dalam satu data warehouse sehingga memudahkan pencarian data.

   Kekurangan :

• Membutuhkan spesifikasi server yang mumpuni apabila nantinya data warehouse sering diakses.

• Independent Data Mart

Model arsitektur independent data mart dibangun dengan cara melakukan proses ekstraksi data langsung dari berbagai source sistem. Independent Data Mart tidak terganggu pada pusat penyimpanan data seperti data warehouse, dikarenakan data yang ada akan disimpan ke dalam beberapa data mart saja.

   Kelebihan :

• Data disimpan ke dalam beberapa data mart, sehingga tidak tergantung pada data warehouse, hal ini akan sangat mengefisienkan waktu dalam melakukan pencarian terhadap suatu data.

   Kekurangan :

• Proses pembuatan sedikit lebih rumit karena harus membuat beberapa data mart.

• Dependent Data Mart

Pada model arsitektur ini, data warehouse digunakan secara terpusat untuk hasil proses ETL. Sehingga nantinya, data mart yang ada dibangun melalui proses ekstraksi dari data warehouse. Dependent Data Mart adalah solusi untuk mengatasi keterbatasan proses ETL pada arsitektur jenis Independent Data Mart. Kapabilitas melakukan drill-down pada Independent Data Mart dapat dihilangkan atau ditiadakan dengan solusi yaitu menyediakan sebuah sumber yang terintegrasi untuk seluruh proses operasional data dalam suatu proses operasional data store.

   Kelebihan :

• Data disimpan ke dalam beberapa data mart, sehingga tidak tergantung pada data warehouse, tentunya akan mengurangi waktu dalam melakukan pencarian terhadap suatu data.
• Mengatasi keterbatasan proses ETL pada independent data mart.

   Kekurangan :

• Pembuatan sedikit rumit karena bukan hanya membuat data mart saja, juga harus membuat data warehouse. Lalu harus melakukan proses ekstraksi data, dari data warehouse ke dalam data mart.
• Membutuhkan spesifikasi server yang mumpuni apabila nantinya data warehouse akan sering diakses sehingga lalu lintas data tidak terganggu.

• Logical Data Mart dan Real-Time Data Warehouse

Pada model arsitektur data warehouse ini, logical data mart tidak secara real atua fisik terpisah dengan database namun hanya terdapat perbedaan view terhadap fisik basis data. Beberapa data harus dipindahkan ke dalam sebuah data warehouse demi meningkatkan kinerja pada proses komputasi tingkat tinggi. Data mart baru dapat dibuat dengan cepat karena tidak ada basis data secara fisik dan tidak ada pemuatan data ke basis data secara rutin. Lalu, data mart yang ada akan selalu up to date karena data dibuat dari view ketika view tersebut dituju.

   Kelebihan :

• Data pada data mart akan selalu up to date karena data dimunculkan dibuat dari view ketika view tersebut dituju.
•  Data mart dapat dibuat dengan cepat karena tidak mempunyai database secara fisik.

   Kekurangan :

• Pembuatan cukup rumit karena harus melakukan proses join pada table-table tertentu untuk memunculkan data yang diinginkan.
• Pembuat harus memiliki kemampuan database diatas rata-rata.
• Dibutuhkan spesifikasi server yang mencukupkan karena data akan selalu up-to-date dan selalu diakses, agar tidak terganggu proses lalu lintas datanya.

Referensi :

Ponniah, Paulraj. 2001. Data Warehousing Fundamentals: A Comprehensive Guide for IT Professionals. New York, Chichester, Weinheim, Brisbane, Singapore, Toronto : John Wiley & Sons, Inc, 2001. ISBN : 0-471-22162-7.