Take editor: Dalam Colossus: Proyek Forbin, superkomputer canggih menjadi hidup dan memperbudak umat manusia. Colossus juga merupakan nama platform penyimpanan di mana hampir semua layanan internet Google berada. Meskipun kami tidak tahu apakah perusahaan mengambil inspirasi langsung dari film sci-fi klasik, konotasi masih ada.
Dalam posting blog baru -baru ini, Google mengungkapkan beberapa “rahasia” yang bersembunyi di balik Colossus, infrastruktur jaringan besar -besaran yang digambarkan perusahaan sebagai platform penyimpanan universal. Colossus kuat, dapat diskalakan, dan mudah digunakan dan diprogram. Google mengatakan mesin besar masih menggunakan drive hard disk magnetik yang sudah terbukti (namun masih berkembang).
Colossus memberi kekuatan banyak layanan Google, termasuk YouTube, Gmail, Drive, dan banyak lagi. Platform berevolusi dari proyek Sistem File Google, sistem penyimpanan terdistribusi untuk mengelola aplikasi besar dan intensif data, membuat segalanya lebih mudah dikelola. Anehnya, Google Supercharged Colossus dengan memasang teknologi cache eksklusif yang bergantung pada drive solid-state cepat.
| Contoh aplikasi | Ukuran I/O. | Kinerja yang diharapkan |
|---|---|---|
| Pemindaian BigQuery | Ratusan KBS hingga puluhan MBS | Tb/s |
| Penyimpanan Cloud – Standar | KBS hingga puluhan MBS | 100 -an milidetik |
| Pesan Gmail | Kurang dari ratusan KB | 10 -an milidetik |
| Lampiran Gmail | KBS ke MBS | detik |
| Hyperdisk membaca | KB ke ratusan KBS | |
| Penyimpanan video YouTube | MBS | detik |
Google membangun satu sistem file colossus per cluster di pusat data. Banyak dari kelompok ini cukup kuat untuk mengelola beberapa exabyte penyimpanan, dengan dua sistem file, khususnya, hosting lebih dari 10 exabyte data masing -masing. Perusahaan mengklaim bahwa aplikasi atau layanan yang didukung Google tidak boleh kehabisan ruang disk dalam zona cloud Google.
Throughput data dalam sistem file colossus sangat mengesankan. Google mengklaim bahwa kelompok terbesar “secara teratur” melebihi tingkat baca 50 terabyte per detik, sementara tarif penulisan hingga 25 terabyte per detik.
“Ini cukup throughput untuk mengirim lebih dari 100 film 8K penuh setiap detik,” kata perusahaan itu.
Menyimpan data di tempat yang tepat sangat penting untuk mencapai kinerja over-the-top semacam ini. Pengguna internal Colossus dapat menentukan jika file mereka perlu pergi ke HDD atau SSD, tetapi sebagian besar pengembang menggunakan solusi otomatis yang dikenal sebagai caching SSD yang didistribusikan L4. Teknologi ini menggunakan algoritma pembelajaran mesin untuk memutuskan kebijakan apa yang akan diterapkan pada blok data tertentu. Namun, sistem akhirnya menulis data baru ke HDD.
L4 Caching Tech dapat (sebagian) menyelesaikan masalah ini dari waktu ke waktu dengan mengamati pola I/O, memisahkan file ke dalam “kategori” tertentu, dan mensimulasikan penempatan penyimpanan yang berbeda. Menurut dokumentasi Google, kebijakan penyimpanan ini termasuk “Tempat di SSD selama satu jam,” “Tempat di SSD selama dua jam,” dan “Jangan Tempatkan di SSD.”
Ketika simulasi memprediksi dengan benar pola akses file, sebagian kecil data dimasukkan ke SSD untuk menyerap sebagian besar operasi baca awal. Data akhirnya dimigrasi ke penyimpanan yang lebih murah (HDDS) untuk meminimalkan biaya hosting secara keseluruhan.
“Sebagai dasar untuk semua Google dan Google Cloud, Colossus berperan penting dalam memberikan layanan yang dapat diandalkan untuk miliaran pengguna, dan kemampuan penempatan SSD yang canggih membantu menjaga biaya dan kinerja tetap meningkat sementara secara otomatis beradaptasi dengan perubahan beban kerja,” kata perusahaan. “Kami bangga dengan sistem yang telah kami bangun sejauh ini dan berharap untuk terus meningkatkan skala, kecanggihan, dan kinerja.”