Mengenal Layanan Penyimpanan di Google Cloud

Artikel ditulis oleh:
Billy Novan Toshi
Data Engineer

Google Cloud Platform™ (GCP) menyediakan layanan penyimpanan yang masing-masing memiliki kelebihan tersendiri. Kita akan membahas beberapa layanan tersebut secara singkat dan cara memilih penyimpanan yang benar sesuai kebutuhan anda. Ekosistem GCP terus berkembang seiring waktu, silahkan periksa website Google Cloud untuk melihat layanan dan fitur terkini.

Layanan GCP yang akan dibahas di artikel ini adalah Cloud SQL, Cloud Spanner, BigQuery, Cloud Datastore, Bigtable, dan Cloud Storage. Semua layanan ini merupakan servis yang fully managed – artinya Google akan menangani tugas operasional, seperti melakukan pembuatan database, backup, dan update OS – jadi anda tidak perlu lagi melakukan hal-hal ini secara manual. Selain itu, semua data di GCP sudah terenkripsi secara default – at rest, dan in motion – oleh karena itu layanan-layanan ini juga sudah terbukti keamanannya.

Cloud SQL

Fitur utama dari Cloud SQL ini antara lain

• Skalabilitas: Anda dapat secara mudah meningkatkan kapasitas instans seiring dengan bertambahnya data – hingga 96 core processor, lebih dari 624 GB RAM, dan penyimpanan hingga 30 TB. Anda juga dapat menambahkan read replica untuk menangani peningkatan read traffic.
• High availability: Secara default, Cloud SQL akan membuat instans di satu zona dalam sebuah wilayah yang anda pilih. Namun anda juga dapat replikasi instans ke zona lain, dengan begini instans sekunder akan dibuat di zona tersebut. Jika instans primer menjadi tidak responsif, Cloud SQL akan failover dan beralih menggunakan instans sekunder.
• Migrasi cepat dan mudah: Database Migration Service memudahkan migrasi database dari on-premise, Compute Engine, dan cloud lainnya ke Cloud SQL dengan downtime yang minimal.
• Terintegrasi: Database Cloud SQL dapat diakses dari hampir semua aplikasi mulai dari Compute Engine, App Engine, dan Kubernetes Engine. Cloud SQL juga dapat diakses langsung dengan BigQuery untuk kebutuhan analitik.

Contoh use case: E-commerce, Content Management System

Cloud Spanner

Fitur utama Cloud Spanner antara lain

• High availability: Cloud Spanner sangat membantu bisnis skala global karena layanan ini memberikan availability 99,999% untuk instans multi-regional dan dapat melakukan replikasi otomatis di seluruh wilayah. Cloud Spanner tidak membutuhkan instans failover seperti Cloud SQL – yang hanya merupakan layanan tingkat regional.
• Strong transactional consistency: Memiliki semua yang anda harapkan dari database relasional – memiliki skema, kueri SQL, dan transaksi ACID – yang dapat diskalakan secara global.
• Sharding otomatis: Cloud Spanner mengoptimalkan kinerja dengan membagi data secara otomatis berdasarkan beban permintaan dan ukuran data. 

Contoh use case: retail, global supply chain

Big Query

Fitur utama dari layanan BigQuery adalah

• Serverless: Anda dapat fokus sepenuhnya pada data dan analisis tanpa harus mengkhawatirkan keamanan dan pengelolaan infrastruktur karena Google yang akan menanganinya. 
• Automatic high availability: BigQuery secara otomatis menyediakan penyimpanan replika yang tahan lama di beberapa lokasi.
• Backup otomatis dan pemulihan: BigQuery secara otomatis mereplikasi data dan menyimpan perubahan selama 7 hari, sehingga anda dapat dengan mudah memulihkan dan membandingkan data dari waktu yang berbeda.
• Layanan transfer data: BigQuery Data Transfer Service dapat secara otomatis mentransfer data dari sumber data eksternal, seperti Google Marketing Platform, Google Ads, YouTube, dan aplikasi partner SaaS lainnya. Anda juga dapat mentransfer data dari Teradata dan Amazon S3. 

Contoh use case: data analitik berskala besar

Cloud Datastore

Fiturnya antara lain:

• High availability untuk operasi read dan write: Cloud Datastore berjalan di data center Google, yang menggunakan redudansi untuk meminimalkan dampak dari point of failure.
• Skalabilitas: Layanan ini menggunakan arsitektur terdistribusi untuk mengelola penskalaan secara otomatis. 
• Kueri data secara fleksibel: Cloud Datastore menyediakan bahasa kueri yang mirip dengan SQL yang sudah dikenal banyak orang.
• Keseimbangan antara strong consistency dan eventual consistency: Model konsistensi ini membuat aplikasi anda untuk dapat memberikan user experience yang sangat baik saat menangani data dan pengguna dalam jumlah besar.

Contoh use case: status game, katalog produk

Cloud Bigtable

Fiturnya antara lain:

• Throughput tinggi pada latensi rendah: Cloud Bigtable sangat ideal untuk menyimpan data dalam jumlah sangat besar dan mendukung throughput read dan write yang tinggi pada latensi rendah untuk dapat mengakses data besar dengan cepat.
• Mengubah ukuran cluster tanpa downtime: Throughput Cloud Bigtable dapat disesuaikan secara dinamis dengan menambahkan atau menghapus node cluster tanpa restart, artinya anda dapat meningkatkan ukuran cluster untuk menangani load besar, lalu mengurangi ukuran cluster lagi – semua ini dilakukan tanpa downtime.
• Replikasi otomatis: Anda tidak perlu lagi melakukan langkah manual untuk memastikan konsistensi, repair data, atau sinkronisasi operasi write dan delete. Manfaatkan high availability SLA sebesar 99,999% untuk instans multi-cluster di 3 region atau lebih (99,9% untuk instans single-cluster).

Contoh use case: IoT, finance, time-series

Cloud Storage

Fiturnya antara lain:

• Kelas penyimpanan sesuai beban kerja: Anda dapat menghemat biaya tanpa harus mengorbankan performa dengan menyimpan data di berbagai kelas penyimpanan berikut: 
  • Standard: untuk data yang sering diakses, contohnya data pada situs web dan aplikasi seluler.
  • Nearline: berbiaya rendah. Baik untuk data yang dapat disimpan setidaknya selama 30 hari, contohnya data backup.
  • Coldline: berbiaya sangat rendah. Baik untuk data yang dapat disimpan setidaknya selama 90 hari, contohnya untuk disaster recovery.
  • Archive: berbiaya paling rendah. Baik untuk data yang dapat disimpan setidaknya selama 365 hari, contohnya arsip regulasi.

• Transisi ke kelas lain dengan mudah: Konfigurasikan data anda dengan Object Lifecycle Management (OLM) untuk secara otomatis beralih ke kelas penyimpanan berbiaya lebih rendah ketika data memenuhi kriteria yang anda tentukan.
• Redundansi: Cloud Storage memiliki daftar lokasi yang terus bertambah dimana anda dapat menyimpan data anda di beberapa lokasi.
• Transfer data dengan mudah: Storage Transfer Service dapat transfer data secara online dengan skalabilitas dan kecepatan yang anda butuhkan. Sedangkan Transfer Appliance digunakan untuk melakukan transfer data secara offline menggunakan server fisik yang akan dikirim ke tempat anda dan nantinya akan diunggah ke Cloud Storage oleh Google.

Contoh use case: multimedia, disaster recovery, staging area

Decision Tree

Berikut ini adalah diagram yang dibuat untuk menyederhanakan proses pemilihan layanan penyimpanan berdasarkan kebutuhan anda. Pertanyaan utama yang harus anda jawab adalah:

1. Apakah data anda terstruktur atau tidak terstruktur?
   • Data terstruktur memiliki skema tetap dan dapat dimodelkan dalam tabel baris dan kolom. 
   • Data tak terstruktur artinya data tidak memiliki struktur tabel dan tidak memiliki skema, seperti contoh file gambar atau audio.
2. Apakah beban kerja anda analitik atau transaksional?
   • Analitik adalah beban kerja yang biasanya digunakan untuk data warehouse atau data mart. Karakteristiknya adalah data dalam bentuk denormalized yang bertujuan untuk meningkatkan performa kueri. Pada umumnya, data akan dioperasikan pada banyak baris (column-based).
   • Transaksional adalah beban kerja yang dibuat untuk kebutuhan proses transaksi dan data dalam bentuk normalized – yang bertujuan untuk menghindari redudansi. Pada umumnya, data akan dioperasikan pada banyak kolom (row-based).
3. Apakah data anda relasional (SQL) atau non-relasional (NoSQL)?

• Introducing stronger default Org Policies for our customers
• How to set compliance controls for your Google Cloud Organization
• Expanding Sensitive Data Protection to make it easier to protect data in Cloud SQL
• How to choose a known, trusted supplier for open source software
• Why mainframe migration is more than technology transformation