Data Loging menggunakan Teknologi Big Data

Data  merupakan bahan utama dalam proses untuk menghasilkan informasi. Secara real Data dihasilkan dari berbagai sumber data yang  tersedia dalam berbagai format yaitu data hardcopy , data dalam bentuk file ( csv, excell , word dan lainnya ) dan data dalam bentuk database hasil entry dari suatu software aplikasi seperti SAP. PT Semen Indonesia Tbk sebagai holding  perusahaan pembuat semen terbesar di Indonesia sangat membutuhkan data yang nantinya dapat diproses menjadi informasi sebagai penunjang pengambilan keputusan baik dalam hal operasional maupun kebijakan.  Data-data yang ada pada production plant di PT Semen Indonesia Tbk yang tersebar di seluruh Indonesia. Data yang ada pada production plant meliputi beberapa data yang berhubungan dengan mesin-mesin produksi semen dan data tersebut bersifat real-time. plant yang telah menerapkan TI secara keseluruhan sudah dapat menyimpan datanya dalam bentuk Database, dimana data tersebut diinput melalui sebuah software aplikasi. Sedangkan plant yang belum menerapkan TI secara keseluruhan menyimpan datanya dalam bentuk tabular pada file Excell, csv atau membaca langsung dari mesin PLC melalui protokol OPC-DC. Selain itu ada juga data-data yang masih dalam bentuk hardcopy yang perlu di konversikan dalam bentuk digital. Kondisi data yang tersebar di seluruh production plant, maupun packaging plant menyulitkan pengambil keputusan untuk memproses informasi yang membutuhkan data dari berbagai bidang kewenangan atau lintas departmen. Saat ini dengan kondisi data tersebar di production plant , maka proses pengumpulan data hanya bisa dilakukan secara manual dengan cara mendatangi masing-masing production plant yang berwenang dengan dengan data yang akan dikumpulkan. Setelah itu dilakukan langkah kompilasi data dan sinkronisasi data agar dapat diproses menjadi informasi untuk keperluan pengambilan kebijakan.  Berdasarkan hal tersebut diatas , maka akan timbul problematik pada saat PT Semen Indonesia Tbk membutuhkan suatu informasi  yang mencakup lintas departemen yaitu adanya kerumitan dalam proses pengumpulan data maupun kompilasi data yag diambil dari berbagai data production plant, sehingga efektifitas maupun efisiensi pemrosesan informasi lintas departemen tidak dapat berjalan secara optimal.

PT Sinergi Infomatika Semen Indonesia yang memiliki kewenangan dalam hal mengelola teknologi dan sistem informasi berupaya mengoptimalkan semua sumberdaya informasi yang dimiliki PT Semen Indonesia Tbk dengan melakukan integrasi data yang ada pada production plant sehingga dapat diproses menjadi informasi secara lebih efektif dan efisien dari sebelumnya. Integrasi data sendiri merupakan suatu proses pengkombinasian dua atau lebih set data agar mempermudah dalam berbagi, pengolahan dan analisis dalam rangka mendukung manajemen informasi pada sebuah lingkungan kerja. Sejalan dengan perkembangan teknologi saat , maka integrasi data yang akan dilaksanakan perlu didukung dengan konsep Iot (Internet of Things) dan Big Data sebagai media penyimpanan dan pemrosesan informasi.  Sebelum data disimpan pada Big data , maka ada tahapan yang harus dilaksanakan yaitu Mengumpulkan data,  Ekstrasi Data, Transformasi Data, dan Loading Data (ETL) ke Datawarehouse . Langkah ekstraksi data adalah proses mengambil semua data yang dibutuhkan dari sumber data baik secara otomatis maupun semi otomatis dengan sumber daya sesedikit mungkin. Langkah ekstraksi data harus dirancang sedemikian rupa sehingga tidak mempengaruhi sumber data ( terutama yang sudah dalam bentuk sistem database )  secara negatif  dalam hal kinerja dan waktu respon. Berikutnya adalah proses transformasi dimana data dari sumber data harus ditransformasikan dalam bentuk atau format yang sesuai dengan format yang telah ditetapkan pada Big Data analitik server. Setelah data hasil transformasi yang sudah sinkron dengan format yang telah ditetapkan pada big data, maka data akan diloading ke Data Warehouse untuk dapat dimanfaatkan lebih lanjut.

Dengan terkumpulnya data dari beberapa Sumber Data pada Big Data pada Data Center yang ada di PT Semen Indonesia Tbk, maka proses pengolahan informasi yang membutuhkan data lintas departemen akan menjadi lebih mudah dan data akan tersimpan secara time series sehingga analisa data dapat dilaksanakan dengan lebih baik lagi. Keuntungan lainnya adalah production plant yang membutuhkan data lintas departemen tidak perlu lagi mengumpulkan data dari masing-masing production plant sumber data sehingga pemanfaatan data akan lebih efektif dan efisien.

Maksud :

Membangun monitoring production plant dengan konsep Iot Big Data untuk mendukung  Optimalisasi pemanfaatan data dan informasi di lingkungan PT Semen Indonesia Tbk.

Tujuan :

            Terwujudnya “Centralized data” di Lingkungan PT Semen Indonesia Tbk dalam mendukung proses pemanfaatan data bersama untuk menghasilkan informasi yang berkualitas bagi pihak-pihak yang berkepentingan.   

Production plant di Lingkungan PT Semen Indonesia Tbk beserta sistem pendataan yang dimiliki.

Manfaat dari pada kegiatan integrasi data ini adalah sebagai berikut :

1.      Data dari berbagai sumber akan terkumpul dalam satu media penyimpanan data.

2.      Sejalan dengan waktu , maka akan dapat terbentuk suatu data historikal yang secara otomatis tersedia dalam Big Data yang dapat digunakan untuk analisa data secara time series.

3.      Memudahkan proses visualisasi data statistik dari berbagai sumber data karena sudah terkumpul dalam satu kesatuan Big Data.

4.      Data yang tersimpan pada Datawarehouse dapat dimanfaatkan untuk berbagai keperluan lebih lanjut seperti reporting service , Online Analytical Processing / Business Intelligence, maupun Machine Learning.

1.      Data yang akan di integrasikan pada kegiatan ini ada beberapa jenis yaitu data yang sudah berupa database, data yang berupa file excel atau CSV, maupun data yang berupa log mesin produksi pabrik. Data yang berupa Database adalah data yang berasal dari :

a.      MongoDB

2.      Mendesain Database Dictionary termasuk meta data untuk Big Data berdasarkan data yang diperoleh dari sumber data dan pemetaan datanya (Data Set).

Mendesain dan mengimplementasikan proses ETL ( Extract, Load, dan Transform )  dari sumber data terkait ke Big Data pusat.

a.      Melakukan ekstrak data dari beberapa aplikasi sumber data dengan web service berbasis API atau MQTT  yang didukung dengan mekanisme keamanan data saat pertukaran data pada :

                                                              i.      OPC (MongoDB)

b.      Update notifikasi - jika sistem sumber mampu memberikan notifikasi bahwa sebuah record telah berubah dan menggambarkan perubahannya, inilah cara termudah untuk mendapatkan datanya.

c.       Ekstrak inkremental - beberapa sistem mungkin tidak dapat memberikan pemberitahuan bahwa pembaruan telah terjadi, namun mereka dapat mengidentifikasi rekaman mana yang telah dimodifikasi dan memberikan ekstrak catatan tersebut. Selama langkah ETL lebih lanjut, sistem perlu mengidentifikasi perubahan dan menyebarkannya ke bawah. Perhatikan, bahwa dengan menggunakan ekstrak harian, kita mungkin tidak bisa menangani catatan yang terhapus dengan benar.

d.      Ekstrak lengkap - beberapa sistem tidak dapat mengidentifikasi data mana yang telah diubah sama sekali, jadi ekstrak lengkap adalah satu-satunya cara agar data dapat keluar dari sistem. Ekstrak lengkap memerlukan salinan ekstrak terakhir dalam format yang sama agar bisa mengidentifikasi perubahan. Kendali ekstrak menangani penghapusan juga. Bila menggunakan ekstrak Incremental atau Full, frekuensi ekstrak sangat penting. Khusus untuk ekstrak lengkap; volume data akan sangat besar.

e.      Melakukan proses Transform dan Cleansing data yang berasal dari semua sumber data yang telah disebutkan di atas.

f.        Membuat modul monitoring status data yang terkumpul pada Data Warehouse berdasarkan sumber data.

g.      Mendesain dan mengimplementasikan Visualisasi Data Statistik dari data yang sudah tersedia pada Big data.

h.      Arsitektur Big Data

• OPC : Data source input dari mesin/PLC
• Job/Worker : Sub process untuk menangani proses secara parallel sehingga masing-masing group tag bias berjalan concurrent
•  Services : hasil dari Job/Thread akan dihandle oleh layer Services yang meneruskan data ke database atau ke cloud
• Data Layer : Layer untuk menangani process input/read ke database mongodb
• MQTT/Publisher : Protocol untuk mengirimkan data dari plant ke Data Center utama
• HTTP POST: Protocol HTTP untuk mengirimkan data dari plant ke Data Center utama
• Heart Beat : untuk monitoring status agent atau data loader di masing-masing plant sedang running atau shutdown.
•  Housekeeping : untuk membersikan data yang sudah lama atau menghapus log data
• Threshold : untuk pengecekan nilai ambbang batas untuk menghasilkan sebuah alert
• Cloud : Data center utama