2018: Migrasi (Bagian 2)

14 January 2018 · 189 words
personal

2018 adalah tahun yang akan penuh dengan tantangan baru. 2018 should be more quantified! Gue akan mendesain sistem data dalam kehidupan gue tanpa menggunakan sepeser biaya apapun dengan teknologi ringan dan sederhana seperti SQLite, Google Sheets, R dan lain sebagainya. Tahap awal adalah mengubah desain arsitektur data yang akan masuk melalui TapLog. Proses pengumpulan data akan dilakukan per minggu maupun per bulan.

Proses penyatuan data akan sedikit berat karena arsitektur data yang dibuat berbeda-beda dari tahun ke tahun. Gue pun akan mengumpulkan bongkahan-bongkahan data lama yang sudah dihasilkan semenjak gue kuliah dulu pada tahun 2012 di dalam Excel.

  • 2012-2015 - format data harian (output.xlsx)
  • 2015-2016 - format data menyesuaikan data dari Monefy
  • 2016 - format data harian (mymind.xlsx)
  • 2016-2017 - format data harian (review.xlsx)
  • 2018 - format data baru menyesuaikan data dari TapLog

Media penyimpanan yang akan gue gunakan adalah Google Drive sebagai data staging dan OneDrive sebagai data mart. Data akan dikirim secara manual tiap bulan via TapLog dan dimasukkan ke dalam Google Drive dan kemudian diolah menggunakan script R terjadwal yang berfungsi untuk membersihkan data dan memasukkan data ke SQLite yang ada di dalam OneDrive.