7023T – Advanced Database Systems
LECTURE NOTES Decision Support and Business Intelligence Systems Cont
Mohammad Subekti, BE, MSc
[email protected] [email protected]
7023T – Advanced Database Systems
LEARNING OUTCOMES On successful completion of this Course, students will be able to: • LO 1: Appreciate that database are widespread nowadays. The course discusses the development of the database approach and introduces the DBMS environment. The course is also to introduce the terminology and concepts of the data warehousing, which is now the important system for business intelligence and applications.
OUTLINE MATERI : Decision Support and Business Intelligence Systems - Data Warehousing Definitions and Concepts - Data Warehousing Process Overview - Data Warehousing Architectures - Data Integration and the ETL Processes - Data Warehouse Development - Real Time Data Warehousing - Data Warehouse Administration and Security Issues
7023T – Advanced Database Systems
ISI MATERI
PENGANTAR DATA WAREHOUSE (lanjutan) TUJUAN: •
Memahami definisi dan konsep dasar dari data warehouse
•
Memahami arsitektur data warehouse
•
Menjelaskan proses yang digunakan dalam mengembangkan dan mengelola data warehouse
•
Menjelaskan operasi data warehousing
•
Menjelaskan peran data warehouse untuk mendukung pengambilan keputusan
•
Menjelaskan integrasi data dan ekstraksi, transformasi, dan beban (ETL) proses
•
Menjelaskan real-time (aktif) data warehousing
•
Memahami data administrasi dan masalah keamanan data warehouse
INTEGRASI DATA DAN PROSES EKSTRAKSI, TRANSFORMASI, PEMUATAN (ETL) Tekanan kompetitif global, kebutuhan pengembalianatas investasi (ROI), kebutuhan manajemen dan investor, dan peraturan pemerintah yang memaksa manajer bisnis untuk memikirkan kembali bagaimana mereka mengintegrasikan dan mengelola bisnis mereka. Seorang pembuat keputusan biasanya membutuhkan akses ke berbagai sumber data yang harus terintegrasi. Sebelum munculnya penggunaan data warehouse, data mart dan perangkat lunak BI, penyediakan akses ke sumber data adalah sebuah proses besar dan sulit. Bahkan dengan - data berbasis web modern sebagai perangkat manajemen, untuk mengetahui data apa yang ingin diakses dan memberikan kepada pengambil keputusan adalah bukan tugas yang mudah dan memerlukan spesialis database. Dengan pertumbuhan data warehouse yang semakin besar, masalah data peng-integrasian juga tumbuh dengan subur.
7023T – Advanced Database Systems
Kebutuhan analisis bisnis terus berkembang. Merger dan akuisisi, kebutuhan regulasi, dan pengenalan saluran baru dapat mendorong perubahan dalam kebutuhan BI. Selain data histori, yang dibersihkan, dikonsolidasi, dan informasi titik-waktu, pengguna bisnis semakin menuntut akses data real-time, tidak terstruktur, dan/atau data remote. Semuanya harus terintegrasi dengan isi dari data warehouse yang ada (lihat Devlin 2003). Selain itu akses melalui PDA dan melalui pengenalan suara dan sintesis menjadi lebih umum, masalah integrasi lebih rumit (lihat Edwards 2003). Banyak proyek integrasi melibatkan sistem yang enterprise-wide. Orovic (2003) memberikan daftar dari apa yang berhasil dan apa yang tidak berhasil ketika mencoba proyek semacam itu. Pengintegrasian data dengan benar dari berbagai database dan sumber lainnya yang berbeda adalah sulit. Jika tidak dilakukan dengan benar, dapat menyebabkan kekacauan dalam sistem di tingkat perusahaan seperti CRM, ERP, dan Supply Chain (lihat Nash 2002) dan lihat Dasu dan Johnson (2003) INTEGRASI DATA Integrasi data terdiri dari tiga proses utama yang, ketika dilakukan akses data dengan benar dan diimplementasikan untuk dapat diakses dan dibuat ke array alat ETL dan dilakukan analisis dan lingkungan data warehousing: Akses data (yaitu, kemampuan untuk mengakses dan mengekstrak data dari berbagaisumber data) , data federasi (yaitu, integrasi sudut pandang bisnis dari penyimpanan data), dan mengetahui perubahan (berdasarkan identifikasi, pengambilan, dan pengiriman perubahan yang menjadikannya sebagai sumber data perusahaan), lihat Sapir (2005) untuk lebih detil. Pada contoh kasus,
untuk manfaat pelumas BP bagaimana dari implementasi data
warehouse yang mengintegrasikan data dari berbagai sumber. Beberapa vendor, seperti Institut SAS Inc telah mengembangkan perangkat integrasi data yang sangat baik. Server perusahaan SAS dapat mengintegrasikan data termasuk data pelanggan dengan perangkat integrasi data yang dapat meningkatkan kualitas data. Oracle Business Intelligence Suite juga dapat membantu dalam pengintegrasian data.
7023T – Advanced Database Systems
Tujuan utama dari data warehouse adalah untuk mengintegrasikan data dari beberapa sistem. Berbagai teknologi integrasi memungkinkan data dan integrasi metadata: •
Integrasi aplikasi enterprise (EAI)
•
Arsitektur berorientasi layanan (SOA)
•
Integrasi informasi enterprise (EII)
•
Ekstraksi, Transformasi, dan Load (ETL)
Integrasi Aplikasi Enterprise (EAI) Merupakan perangkat untuk memindahkan data dari sistem sumber ke dalam data warehouse. Dalam hal ini melibatkan pengintegrasian fungsionalitas aplikasi dan fokus pada fungsi berbagi (dari pada data) di seluruh sistem, sehingga memungkinkan fleksibilitas dan penggunaan kembali. Secara tradisional, solusi EAI fokus pada kemungkinan penggunaan kembali aplikasi pada aplikasi pemrograman tingkat antarmuka (API). Baru-baru ini, EAI dilakukan dengan menggunakan layanan SOA-coarse-grained (kumpulan proses bisnis atau fungsi) yang didefinisikan dengan baik dan didokumentasikan. Menggunakan layanan web adalah cara khusus implementasi pada SOA. EAI dapat digunakan untuk memfasilitasi akuisisi data langsung ke warehouse hamper real time sekaligus untuk memberikan keputusan pada sistem OLTP. Ada banyak pendekatan yang berbeda untuk dan alat untuk implementasi EAI. Integrasi Informasi Enterprise (EII) Adalah perangkat yang berkembang yang dapat melakukan integrasi data secara realtime dari berbagai sumber, seperti database relational, layanan Web, dan database multidimensional. Tersebut adalah suatu untuk mekanisme menarik data dari sistem sumber untuk memenuhi berbagai permintaan informasi. Perangkat EII menggunakan metadata yang ditetapkan sebelumnya untuk menghasilkan pandangan (view) data yang terintegrasi dan terlihat sebagai relasional bagi pengguna akhir. XML mungkin menjadi aspek yang paling penting dari EII karena XML memungkinkan data yang akan ditandai baik pada waktu penciptaan atau di kemudian waktu. Tag ini dapat diperpanjang dan dimodifikasi untuk mengakomodasi hampir semua bidang pengetahuan (lihat Kay, 2005).
7023T – Advanced Database Systems
Integrasi data fisikal secara konvensional menjadi mekanisme utama untuk menciptakan pandangan (view) yang terintegrasi dengan data warehouse dan data mart. Dengan adanya perangkat EII (lihat Kay 2005), pola integrasi virtual data pola baru menjadi layak dipergunakan. Manglik dan Mehra (2005) membahas manfaat dan kendala pada pola integrasi data baru yang dapat memperluas metodologi fisik tradisional untuk menyajikan pandangan komprehensif untuk perusahaan. Ekstraksi, Transformasi, dan Pemuatan (Load) Di pusat sisi teknis dari proses data warehousing adalah ekstraksi, transformasi, dan pemuatan (ETL). Teknologi ETL, yang telah ada selama beberapa waktu, berperan dalam proses dan penggunaan data warehouse. Proses ETL merupakan komponen integral dalam – setiap proyek data-centric. Manajer IT dihadapkan pada tantangan yang cukup berat karena proses ETL biasanya mengkonsumsi 70% waktu dalam suatu proyek data-centric. Proses ETL terdiri dari ekstraksi (yaitu, membaca data dari satu atau lebih database), transformasi (yaitu, mengubah data diambil dari bentuk sebelumnya menjadi bentuk yang perlu sehingga dapat ditempatkan ke dalam sebuah data warehouse atau hanya lain data base), dan pemuatan (yaitu, memasukkan data ke dalam data warehouse). Transformasi terjadi dengan menggunakan aturan atau tabel lookup atau dengan menggabungkan data dengan data lainnya. Ketiga fungsi database terintegrasi ke dalam satu alat untuk menarik data dari satu atau lebih database dan menempatkan mereka ke dalam database lain, mengkonsolidasi dengan database atau data warehouse. Perangkat
ETL
juga
berfungsi
memindahkan
data
dari
sumber
ke
target,
mendokumentasikan bagaimana elemen data (misalnya, metadata) berubah, ketika mereka bergerak antara sumber dan target, pertukaran metadata yang diperlukan dengan aplikasi lain, dan mengadministrasikan semua proses runtime dan operasional (misalnya, penjadwalan, manajemen kesalahan , audit log, statistik), sehingga proses ETL merupakan bagian penting bagi data warehousing. Tujuan dari proses ETL adalah untuk memuat warehouse dengan data terintegrasi dan dibersihkan. Data yang digunakan dalam proses ETL dapat berasal dari berbagai
7023T – Advanced Database Systems
sumber: sebuah aplikasi mainframe, aplikasi ERP, perangkat CRM, flat file, spread sheet Excel, atau bahkan antrian pesan. Gambar 7 memperlihatkan proses ETL tersebut. Proses migrasi data ke data warehouse melibatkan ekstraksi data dari semua sumber yang relevan. Sumber data dapat terdiri dari file yang diekstraksi dari database OLTP, spreadsheet, database pribadi (misalnya, microsoft access), atau file eksternal. Biasanya, semua input file ditulis pada satu set staging table, yang dirancang untuk memfasilitasi proses pemuatan (load), Data warehouse berisi banyak aturan bisnis yang mendefinisikan hal-hal seperti: bagaimana data akan digunakan, aturan men-summary, standarisasi atribut yang disandikan, dan aturan perhitungan. Setiap isu kualitas data terkait pada file sumber perlu dikoreksi sebelum data dimuat ke dalam data warehouse.
Gambar 7 Proses ETL Salah satu manfaat dari sebuah data warehouse yang dirancang dengan baik adalah bahwa aturan-aturan ini dapat disimpan dalam repositori metadata dan diterapkan pada data warehouse secara terpusat. Hal ini berbeda dengan pendekatan OLTP , yang biasanya memiliki data dan aturan bisnis yang tersebar di seluruh sistem. Proses pemuatan (loading) data ke dalam data warehouse dapat dilakukan baik melalui perangkat transformasi data, yang dapat mempunyai antarmuka GUI untuk membantu dalam pengembangan dan pemeliharaan aturan bisnis atau penggunaan metode yang tradisional, seperti program pengembangan atau utilitas untuk pemuatan data warehouse, menggunakan bahasa pemrograman seperti PL/SQL, C++, atau bahasa Net Framework.
7023T – Advanced Database Systems
Keputusan ini tidak mudah untuk organisasi. Beberapa isu yang mempengaruhi, apakah suatu organisasi akan membeli alat transformasi data atau membangun proses transformasi itu sendiri: •
Alat transformasi data yang mahal harganya
•
Alat transformasi data mungkin memiliki kurva belajar yang panjang
•
Cukup sulit untuk mengukur bagaimana keberhasilan organisasi IT, sampai pembelajaran untuk menggunakan alat transformasi data tersebut dilakukan. Dalam jangka panjang, pendekatan alat transformasi harus menyederhanakan
pemeliharaan data warehouse organisasi. Alat transformasi juga dapat efektif dalam mendeteksi dan menghilangkan (yaitu, menghapus setiap anomali dalam data). OLAP dan perangkat data mining bergantung pada sukses dari transformasi data. Sebagai contoh ETL yang efektif, Motorola Inc. yang menggunakan ETL untuk memberi masukan ke data warehouse. Motorola mengumpulkan informasi dari 30 sistem pengadaan dan mengirimkan datanya ke data warehousenya SCM untuk melakukan analisis total pengeluaran perusahaan (lihat Songini 2004). Solomon (2005) mengklasifikasikan ETL, teknologi ke dalam beberapa kategori: canggih, mampu, sederhana, dan ketidak-sempurnaan, umumnya mengakui bahwa alat dalam kategori yang canggih akan menghasilkan proses ETL menjadi lebih baik dan lebih akurat, didokumentasikan dan dikelola sebagai pergerakan proyek data warehouse. Meskipun dimungkinkan bagi programmer untuk mengembangkan perangkat lunak ETL, namun lebih sederhana untuk menggunakan alat ETL. Berikut ini adalah beberapa kriteria penting dalam memilih alat ETL (lihat Coklat, 2004) •
Kemampuan untuk membaca dari dan menulis ke jumlah yang tidak terbatas dari berbagai arsitektur sumber data
•
Otomatis menangkap dan mengirimkan metadata
•
Histori yang sesuai untuk mencapai standar
•
Menggunakan antarmuka untuk pengembang dan pengguna fungsional.
7023T – Advanced Database Systems
Melakukan ETL yang ekstensif, menunjukkan data yang dikelola kurang berhasil dan kurangnya mendasar dari strategi manajemen data yang koheren. Karácsony (2006) menunjukkan bahwa ada hubungan langsung antara tingkat data redundent dan jumlah proses ETL. Bila data dikelola dengan benar sebagai aset perusahaan, proses ETL akan dilakukan lebih mudah, dan ini akan berakibat penghematan besar dalam pemeliharaan, dan efisiensi yang lebih besar dalam pengembangan baru, sekaligus meningkatkan kualitas data. Proses ETL yang dirancang dengan buruk, akan mahal pemeliharaannya, untuk mengubah, dan memperbaruinya. Akibatnya adalah penting untuk membuat pilihan yang tepat dalam hal teknologi dan alat yang akan digunakan untuk mengembangkan dan memelihara proses ETL. Sejumlah alat paket ETL banyak tersedia. vendor database saat ini menawarkan kemampuan ETL yang baik untuk meningkatkan dan untuk bersaing dengan alat ETL independen. SAS mengakui pentingnya kualitas data untuk mengubah data menjadi aset berharga strategis. Demikian pula berbagai penyedia software ETL termasuk Microsoft, Oracle, IBM, Informatica, Embarcadero, dan Tibco. Untuk informasi tambahan mengenai ETL, lihat Golfarelli dan Rrzzi (2009), Karaaksony (2006), dan Songini (2004) PENGEMBANGAN DATA WAREHOUSE Sebuah proyek data warehouse merupakan tanggung jawab utama bagi setiap organisasi dan ternyata lebih rumit daripada proses pemilihan mainframe dan implementasi proyek karena terdiri dan mempengaruhi banyak departemen dalam organisasi, serta terdiri dari banyak masukan dan antarmuka keluaran, sertaq dapat menjadi bagian strategi bisnis CRM. Sebuah data warehouse menyediakan berbagai manfaat yang dapat diklasifikasikan sebagai langsung dan tidak langsung. Manfaat langsung meliputi: •
Pengguna akhir dapat melakukan analisis yang ekstensif dalam berbagai cara
•
Dimungkinkan pandangan konsolidasi data perusahaan (misal, satu versi kebenaran)
•
Dimungkinkan pengolahan informasi yang lebih baik dan lebih tepat waktu. Sehingga dapat mengurangi biaya dari sistem operasional mahal ke murah - karena itu, lebih
7023T – Advanced Database Systems
banyak - permintaan pengguna informasi yang bias dilayani dan dapat diproses lebih cepat •
Peningkatan kinerja sistem dapat terjadi. Sebuah data warehouse membebaskan proses produksi karena beberapa pelaporan sistem operasional dipindahkan ke DSS
•
Akses data yang lebih sederhana Manfaat tidak langsung adalah hasil penggunaan oleh pengguna akhir akhir
menggunakan manfaat langsung tersebut. Secara keseluruhan, manfaat meningkatkan pengetahuan bisnis, keunggulan kompetitif saat ini, meningkatkan layanan dan kepuasan pelanggan, memfasilitasi proses pengambilan keputusan, dan membantu dalam mereformasi proses bisnis, dan karena itu memberikan kontribusi terkuat untuk keuntungan kompetitif. (Untuk diskusi tentang bagaimana membuat data warehouse memberikan keunggulan kompetitif data, lihat Parzinger dan Frolik, 2001). Untuk pembahasan rinci tentang bagaimana organisasi dapat memperoleh tingkat keuntungan yang luar biasa, lihat Watson et al. (2002). Mengingat bahwa potensi keuntungan data warehouse dapat diberikan, dan investasi, waktu dan uang yang substantial, namun bahwa proyek tersebut untuk memaksimalkan peluang keberhasilan. Di samping itu, organisasi harus, jelas, penggunaan biaya menjadi pertimbangan. Kelly (2001) menggambarkan pendekatan ROI yang mempertimbangkan manfaat dalam kategori penjaga (i.e uang, penghematan yang di peroleh dari membeli untuk meningkatkan fungsi pendukung keputusan tradisional). Pengumpul (yaitu, penghematan uang karena otomatisasi pengumpulan dan penyebaran informasi) dan penggunaan (yaitu, uang yang dihemat dari mendapatkan keputusan yang dibuat untuk menggunakan data warehouse). Dalam komponen biaya termasuk yang berkaitan dengan hardware, bandwidth perangkat lunak jaringan, pengembangan internal, dukungan internal, pelatihan, dan konsultasi eksternal. Net present value (NPV) adalah menghitung keuntungan yang diharapkan sepanjang daur hidup dari data warehouse. Karena manfaat dipecah sekitar 20% untuk pemelihara, 30% untuk pengambilan data, dan 50% bagi pengguna, Kelly menunjukkan bahwa pengguna harus dilibatkan dalam proses pembangunan, Faktor keberhasilan biasanya menyebutkan sebagai kritis,
karena menyebabkan perubahan
dalam sebuah organisasi .
7023T – Advanced Database Systems
Jelas mendefinisikan tujuan bisnis, mengumpulkan dukungan proyek dari pengguna akhir manajemen, menetapkan kerangka waktu dan anggaran yang wajar, dan memelihara espektasi sangat penting untuk sebuah proyek data warehouse dapat sukses. Strategi data warehouse adalah cetak biru untuk pengenalan sukses dari data warehouse itu sendiri. Strategi ini harus menjelaskan di mana perusahaan ingin menuju, alasan ingin menuju ke sana, dan apa yang akan dilakukan ketika sampai di tujuan. Perlu untuk mempertimbangkan visi organisasi, struktur, dan budaya. Lihat Matney (2003), langkah yang dapat membantu dalam mengembangkan strategi dukungan yang fleksibel dan efisien. Ketika rencana dan dukungan untuk data warehouse ditetapkan, organisasi perlu memeriksa vendor data warehouse
juga melihat lembaga data
warehousing. Misal(twdi. com) dan DM review (dmreview.com). Banyak vendor yang menyediakan demo perangkat lunak data warehousing dan produk BI. Data warehouse Vendor McCloskey (2002) menyebutkan enam pedoman yang perlu dipertimbangkan ketika mengembangkan daftar vendor: kemampuan keuangan, hubungan ERP, konsultan berkualitas, pangsa pasar, pengalaman industri, dan kemitraan yang mapan. Data dapat diperoleh dari pameran dagang dan situs Web perusahaan, serta dengan mengirimkan permintaan untuk informasi produk yang spesifik. Van De Hoven (1998) membedakan tiga jenis produk data warehousing. Jenis pertama menangani fungsi seperti lokasi, penggalian, mengubah, membersihkan, mengirim, dan memuat data warehouse. Tipe kedua adalah manajemen data alat - mesin database yang menyimpan dan mengelola data warehouse serta metadata. Tipe ketiga adalah perangkat akses data yang menyediakan pengguna akhir dengan akses untuk menganalisis data dalam data warehouse. Ini mungkin termasuk query generator, visualisasi, EIS, OLAP, dan kemampuan data mining. Pendekatan Pengembangan Data Warehouse Banyak organisasi perlu menciptakan data warehouse yang digunakan untuk mendukung prose pengambilan keputusan. Dua pendekatan bersaing dipergunakan. Pendekatan pertama adalah yang dilakukan oleh Bill Inmon, orang yang sering disebut sebagai "ayah dari data warehousing". Inmon mendukung pendekatan pengembangan top-down, yang meng-adaptasi
7023T – Advanced Database Systems
perangkat database relasional tradisional untuk kebutuhan pembangunan sebuah data warehouse tingkat perusahaan, yang juga dikenal sebagai EDW. Pendekatan yang kedua adalah pendekatan yang dilakukan oleh Ralph Kimball, yang mengusulkan untuk pendekatan bottom-up yaitu menggunakan pemodelan dimensional, juga dikenal sebagai pendekatan data mart. Mengetahui persamaan dan perbedaan dari kedua pendekatan, dapat membantu kita mengerti tentang konsep fundamental dari data warehouse. Lihat table 1. Tabel 1 Perbedaan pendekatan pengembangan DW
Alat tradisional database relasional untuk kebutuhan pembangunan sebuah data warehouse perusahaan, juga dikenal sebagai pendekatan EDW yang menggunakan pendekatan adalah bahwa dari Ralph Kimball, yang mengusulkan untuk pendekatan bottom up yang mempekerjakan pemodelan dimensi, juga dikenal sebagai pendekatan data mart. Mengetahui bagaimana kedua model adalah sama dengan bagaimana mereka berbeda membantu kita memahami konsep dasar data warehouse (misalnya, lihat berlin, 2004)
7023T – Advanced Database Systems
Model Inmon: PENDEKATAN EDW Inmon, menekankan pembangunan top-down, menggunakan metodologi pengembangan database yang sudah ada dan tool, seperti diagram entity-relationship (ERD), dan disesuaikan dengan pendekatan pembangunan spiral. EDW adalah ideal dalam pendekatan ini karena memberikan tampilan yang konsisten dan komprehensif
dari
perusahaan.
Murtaza
(1998)
menyajikan
kerangka
kerja
untuk
mengembangkan EDW. Model Kimball: PENDEKATAN DATA MART dari Kimball, yaitu strategi data mart adalah pendekatan "rencana besar membangun kecil". Sebuah data mart berorientasi subjek atau departemental tetapi berorientasi data warehouse. Versi data warehouse diperkecil ,yang berfokus pada permintaan departemen tertentu, seperti pemasaran atau penjualan. Model ini menggunakan pemodelan data dimensional, yang dimulai dengan pembuatan tabel. Kimball menganjurkan metodologi pembangunan yang menggunakan pendekatan bottom-up, yang dalam kasus data warehouse berarti membangun satu data mart data untuk setiap waktu. Model mana yang terbaik? Tidak ada strategi “satu-ukuran-cocok-untuk-semua”,
dalam membangun data
warehousing. Strategi perusahaan, data warehousing dapat dikembangkan dari data mart tunggal, ke sebuah data warehouse yang kompleks, dalam menanggapi tuntutan dari pengguna, jatuh tempo perusahaan dalam mengelola sumber datanya. Bagi banyak perusahaan, data mart merupakan langkah pertama yang nyaman untuk memperoleh pengalaman dalam membangun dan mengelola data warehouse, sementara pula dapat menyajikan informasi bagi pengguna bisnis dengan manfaat dari akses yang lebih baik ke data perusahaan. Dalam hal ini, data mart umumnya dapat menunjukkan nilai bisnis dari data warehousing, sehingga pada akhirnya, memperoleh EDW yang ideal. Namun demikian, pengembangan data mart individu sering dapat memberikan banyak keuntungan sepanjang jalan menuju pengembangan EDW, terutama jika organisasi tidak mampu atau tidak mau untuk berinvestasi dengan skala besar - skala proyek. Data mart juga dapat menunjukkan kelayakan dan keberhasilan dalam memberikan manfaat. Hal ini berpotensi dapat mengarah ke investasi dalam suatu EDW.
7023T – Advanced Database Systems
Tambahan Pertimbangan Pengembangan Data Warehouse Beberapa organisasi ingin menggunakan jasa luar untuk upaya membangun data warehousing. Mereka tidak ingin berurusan dengan akusisi perangkat lunak dan perangkat keras, dan mereka tidak ingin melakukan pengelolaan sistem informasinya sendiri. Cara lain merupakan satu alternatif adalah dengan menggunakan host data warehouse. Dalam skenario ini, perusahaan lain-idealnya, salah satu yang memiliki banyak pengalaman dan keahlianmengembangkan dan memelihara data warehouse. Namun ada kekhawatiran keamanan dan privasi dengan pendekatan ini. Data Warehouse Struktur: Skema Bintang Sebuah struktur data warehouse khas ditunjukkan pada gambar 1 lecture note sebelumnya. Banyak variasi pada arsitektur data warehouse yang mungkin: yang paling penting adalah skema bintang. Desain data warehouse didasarkan pada konsep pemodelan dimensionl. Pemodelan Dimensi adalah sistem berbasis-pengambilan (retrieval-based) yang mendukung akses permintaan data dengan volume yang besar. Skema bintang adalah suatu sarana dimana pemodelan dimensional diimplementasikan. Skema bintang berisi tabel fakta sebagai pusat yang dikelilingi oleh beberapa tabel dimensional (Adamson, 2009). Tabel fakta berisi sejumlah besar baris yang sesuai dengan fakta yang diamati. Sebuah tabel fakta berisi atribut yang diperlukan untuk melakukan analisis keputusan, atribut deskriptif digunakan untuk query pelaporan, dan kunci asing (foreign kunci) untuk menghubungkan ke tabel dimensi. Atribut analisis keputusan terdiri dari ukuran kinerja, metrik operasional, ukuran agregat dan semua pengukuran lainnya yang diperlukan untuk menganalisis kinerja organisasi. Dengan kata lain, tabel fakta menjadi faktor utama dalam pembahasan data warehouse sebagai pendukung analisis keputusan. Di sekeliling table fakta (dan dihubungkan dengan foreign key) adalah table dimensi. Tabel dimensi berisi atribut yang menjelaskan data yang ada pada table fakta; yang ditujukan untuk mengethaui bagaimana analisis dilakukan. Tabel dimension memiliki hubungan one-to-many dengan baris-baris yang ada di pusat tabel fakta. Sebagai contoh dimensi yang mendukung fakta produk adalah misalnya lokasi, waktu, ukuran, dan lain-lain.
7023T – Advanced Database Systems
Skema bintang dapat memberikan respon waktu query yang sangat cepat, sederhana, dan kemudahan dalam pemeliharaan pada struktur database yang hanya dibaca saja. Lihat contoh skema bintang pada gambar 8.
Gambar 8 Contoh skema bintang (Sumber Turban) Grain (atau juga disebut granularity) dari data warehouse adalah merupakan level tertinggi dari tingkat detil yang dimiliki. Grain menunjukkan apakah data warehouse mengandung summary tingkat tinggi (highly summarized) , atau juga mengandung data transaksi detil. Apabila grain ditentukan terlalu tinggi, maka data warehouse tidak akan bisa melakukan drill down pada detil data. Analisis drill down adalah suatu proses meneliti atas nilai summary untuk mengetahui lebih rinci dari detil transaksi yang di-summary-kan. Semakin rendah granularity, maka semakin banyak data yang disimpan dalam data warehouse. Dan semakin besar jumlah data yang disimpan, akan berpengaruh terhadap unjuk kerja pada waktu query terhadap data warehouse. Oleh karena itu pada saat dikembangkan lingkup data warehouse perlu ditetapkan level dari granularitas yang diperlukan. Tennan (2002) menjelaskan isu granularitas dalam metadata.
7023T – Advanced Database Systems
Teknologi wawasan 8. 1 host data warehouse Sebuah data warehouse host memiliki hampir sama, jika tidak lebih, fungsional sebagai gudang pertukaran data, tetapi tidak mengkonsumsi sumber daya komputer di tempat klien. Sebuah data warehouse host menawarkan manfaat BI tanpa biaya tambahan untuk upgrade komputer, upgrade jaringan, lisensi perangkat lunak, dalam pembangunan internal, dan pemeliharaan internal. Sebuah data warehouse host menawarkan berbagai manfaat berikut: •
Membutuhkan investasi minimal dalam infrastruktur
•
Membebaskan sebagian kapasitas dalam sistem internal
•
Membebaskan aliran biaya
•
Membuat solusi yang kuat dapat terjangkau
•
Memungkinkan solusi powerfull yang memungkinkan pertumbuhan
•
Menawarkan peralatan dan perangkat lunak dengan kualitas yang lebih baik
•
Menyediakan koneksi lebih cepat
•
Memungkinkan pengguna untuk mengakses data dari lokasi yng jauh
•
Memungkinkan perusahaan untuk foces pada bisnis inti
•
Memungkinkan perusahaan focus hanya pada bisnis inti
•
Memenuhi kebutuhan penyimpanan untuk volume data yang besar Meskipun manfaat data warehouse dengan cara hosting belum tentu cocok untuk setiap
organisasi. Perusahaan besar dengan kenaikan pendapatan yang besar, bisa kehilangan uang sesudah memiliki infrastruktur internal kurang dimanfaatkan staf IT. Selanjutnya, perusahaan yang melihat pergeseran paradigma outsourcing aplikasi akan kehilangan kontrol data mereka, dan rentan untuk menggunakan penyedia layanan intelegensi bisnis (BISP). Akhirnya, argumen yang paling signifikan dan umum terhadap pelaksanaan sebuah data warehouse host adalah bahwa hal itu mungkin lebih bijaksana untuk melakukan outsourcing aplikasi sensitif karena alasan keamanan dan privasi.
7023T – Advanced Database Systems
Implementasi warehousing masalah data Menerapkan data warehouse umumnya upaya besar-besaran yang harus direncanakan dan dilaksanakan sesuai dengan metode yang ditetapkan. Namun, siklus hidup proyek memiliki banyak sisi, dan mo satu orang dapat menjadi ahli di daerah masing-masing. Disini kita membahas ide-ide spesifik dan masalah yang berkaitan dengan data warehouse. Inmon (2006) memberikan serangkaian tindakan yang data warehouse sistem programmer dapat digunakan untuk menyempurnakan data warehouse. Reeves (2009) dan solomon (2005) memberikan beberapa panduan tentang pertanyaan kritis rthe yang harus ditanyakan, beberapa risiko yang harus ditimbang dan beberapa proses yang dapat diikuti untuk membantu memastikan implementasi data warehouse sucessfull. Dia menyusun daftar 11 tugas utama yang bisa dilakukan secara paralel: •
Estabilshment perjanjian tingkat layanan dan refresh data persyaratan
•
Identifikasi sumber data dan kebijakan mereka governant
•
Data kualitas perencanaan
•
Data model desain
•
ETL alat seleksi
•
Database relasional software dan seleksi Platform
•
Data transportasi
•
Data konversi
•
Rekonsiliasi Proses
•
Perge dan arsip perencanaan
•
Pengguna akhir dukungan Mengikuti pedoman ini harus meningkatkan peluang organisasi untuk sukses, Mengingat
ukuran dan ruang lingkup dari suatu perusahaan tingkat inisiatif data warehouse, Failiure untuk mengantisipasi masalah ini sangat meningkatkan risiko failiure.
7023T – Advanced Database Systems
Hwang dan xu (2005) melakukan survei utama dari masalah keberhasilan data warehousing. Hasil menetapkan bahwa keberhasilan data warehousing adalah membangun multifaset. sebuah Hwang dan xu mengusulkan bahwa data warehouse dibangun sambil mengingat tujuan meningkatkan produktivitas pengguna. Sangat signifikan untuk melakukannya termasuk pengambilan informasi yang cepat dan kualitas informasi ditingkatkan. hasil survei juga menunjukkan bahwa keberhasilan bergantung pada faktor dimensi yang berbeda. Orang-orang ingin tahu bagaimana sukses BI dan data warehousing initiativesare dibandingkan dengan orang-orang dari perusahaan lain. Aryachandra dan Watson (2006). Usulan beberapa tolok ukur untuk BI dan sukses data warehousing. Watson et al (1999) meneliti failiures data warehouse. Hasil penelitian mereka menunjukkan bahwa orang-orang mendefinisikan "failiure" dengan cara yang berbeda, dan ini dikonfirmasi oleh Aryachandra dan Watson (2006a). Data warehousing Ikatan (tdwl. org) telah mengembangkan sebuah model data warehousing yang jatuh tempo perusahaan dapat mengajukan permohonan untuk evolusi acuan. Model ini menawarkan cara yang cepat untuk mengukur di mana organisasi data inisiatif warehousing sekarang di mana harus pergi berikutnya. Model maturuty terdiri dari enam tahap: Prenatal, bayi. anak. remaja dewasa dan bijak. Nilai bisnis meningkat sebagai data warehouse berlangsung melalui setiap tahap suceedung Tahapan diidentifikasi oleh sejumlah karakteristik, termasuk ruang lingkup, struktur analyctic, persepsi excecutive, jenis analisis, pengelolaan, pembiayaan, techno, platform yang ogy, manajemen perubahan, dan administrasi. lihat Eckerson et. al (2009) dan Eckerson (2003) untuk lebih jelasnya. Saunders (2009) memberikan mudah untuk memahami analogi memasak untuk data warehouse yang berkembang, bendung (2002) secara khusus menggambarkan beberapa praktek terbaik untuk menerapkan data warehouse, yang meliputi pedoman berikut: •
Proyek ini harus sesuai dengan strategi perusahaan dan tujuan bisnis
•
Harus ada membeli lengkap untuk proyek dengan eksekutif, manajer, dan pengguna
•
Hal ini penting untuk mengelola expactations pengguna tentang proyek selesai
•
The data warehouse harus dibangun bertahap
•
Adaptasi harus dibangun di
•
Proyek ini harus dikelola oleh kedua TI dan profesional bisnis
7023T – Advanced Database Systems •
Sebuah hubungan pemasok bisnis harus dikembangkan
•
Data beban Hanya yang telah dibersihkan dan kualitas yang dipahami oleh organisasi
•
Jangan mengabaikan persyaratan pelatihan
•
Jadilah sadar politik Data warehouse proyek memiliki banyak risiko. Kebanyakan dari mereka juga ditemukan
di lain proyek TI, namun data warehousing adalah data risiko bacause lebih serius gudang mahal, proyek skala besar. Risiko masing-masing harus melakukan analisis pada awal proyek. Adelman dan lumut (2001) menggambarkan beberapa risiko, termasuk yang berikut: •
Tidak ada misi atau tujuan
•
Kualitas sumber data tidak diketahui
•
Keterampilan tidak di tempat
•
Anggaran yang kurang memadai
•
Kurangnya software pendukung
•
Sumber data tidak dipahami
•
Sponsor yanglemah
•
Pengguna tidak melek komputer
•
Masalah politik atau turf war
•
Harapan pengguna yang tidak realistik
•
Resiko arsitektur dan disain
•
Lingkup yang tidak sesuai dan persyaratan perubahan
•
Vendor di luar kendali
•
Multi platform
•
Orang kunci meninggalkan proyek
•
Kehilangan sponsor
•
Terlalu banyak teknologi baru
•
Harus memperbaiki sistem operasional
•
Lingkungan geographis tersebar
•
Tim geografi dan budaya bahasa
7023T – Advanced Database Systems
Praktisi telah menemukan banyak kesalahan yang telah dibuat dalam pengembangan data warehouse. Watson et al. (1999) membahas bagaimana kesalahan tersebut bisa mengakibatkan kegagalan data warehouse (juga lihat Baquin et al 0,1997). Turban et al. (2006) terdaftar alasan berikut untuk kegagalan. Budaya isu diabaikan, arsitektur yang tidak pantas, tujuan bisnis tidak jelas, informasi yang hilang, harapan yang tidak realistis, rendahnya tingkat summarization data, dan rendah kualitas data.
7023T – Advanced Database Systems
SIMPULAN Menerapkan data warehouse umumnya merupakan upaya besar-besaran yang harus direncanakan dan dilaksanakan sesuai dengan metode yang ditetapkan. Namun, siklus hidup proyek memiliki banyak sisi, dan tidak ada satu orang dapat menjadi ahli di area masing-masing. Disini kita membahas ide-ide spesifik dan masalah yang berkaitan dengan data warehouse. Serangkaian tindakan yang data warehouse sistem programmer dapat digunakan untuk menyempurnakan data warehouse.
7023T – Advanced Database Systems
DAFTAR PUSTAKA Textbooks 1. Kimball, Ralph.(1998). The Data Warehouse LifecycleToolkit: Expert Methods for Designing, Developing, and Deploying Data Warehouse. 2nd ed. Wiley Computer Publishing. ISBN 2. Kimball, Ralph.(2002). The Data Warehouse The Complete Guide to Dimensional Modeling. 2nd ed. Wiley Computer Publishing. ISBN 0-471-20024-7 3. Connoly Thomas, Begg Carolyn. (2005. Database System: A Practical Approach to Design, Implementation, and Management 4th edition. Addison Wesley. ISBN: 0-20170857-4. 4. Inmon, William H.(2005). Building the Data Warehouse. 4th ed. Wiley Computer Publishing. ISBN 0-7645-9944-5 5. Turban, Efraim. (2011). Decision Support and Business Intelligence Systems. 9th ed. Pearson. ISBN 0-13-245323-1 Other Resources Æ 1. http://www.rational.com 2. http://www.omg.org 3. http://www.odmg.org 4. http://www.mhhe.com/ramakhrisnan 5. http://www.jcc.com/sql_stnd.html 6. http://otn.oracle.com 7. http://www.oracle.com 8. http://www.booksite.net/connbeg
