|
Гжегож Цажковски, системный инженер Google в официальном блоге Google сегодня сообщил, что в экспериментах с файловой системой Google File System был поставлен новый рекорд по скорости передачи данных. 1 Петабайт данных (10 трлн 100-байтных текстовых файлов) был передан 4000 клиентских компьютеров за 6 часов и 2 минуты.
1 петабайт данных позволяет 12 раз скопировать все содержимое Библиотеки Конгресса США - крупнейшей библиотеки в мире.
“Мы постоянно экспериментируем с различными вариантами организации данных в цифровом варианте. Большинство опытов касается MapReduce - ключевого компонента нашей программной инфраструктуры, позволяющей нам запускать множество процессов одновременно. Сейчас при создании тестовых условий для MapReduce базовой единицей уже стал терабайт”, - пишет он.
Недавно в Google достигли и еще одного впечатляющего результата по трансферу даннах - 1 терабайт данных при помощи инфраструктуры компании был передан 1000 клиентских компьютеров всего за 68 секунд. Сортировка 1 терабайта данных и их передача 910 компьютерам заняла 209 секунд.
Цажковски также отметил, что с учетом архитектуры поисковой системы Google для хранения 1 петабайта данных требуется около 48 000 жестких дисков, причем в стандартных условиях система функционирует с трехкратной избыточностью, то есть каждый блок данных продублирован трижды.
| 
