Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Шайтан Иван
1. Шайтан Иван
Фантастика
:боевая фантастика
,попаданцы
,альтернативная история
.
5.00
рейтинг книги
Студиозус 2
4. Светлая Тьма
Фантастика
:юмористическое фэнтези
,городское фэнтези
,аниме
.
5.00
рейтинг книги
Эволюционер из трущоб. Том 2
2. Эволюционер из трущоб
Фантастика
:космическая фантастика
,попаданцы
.
5.00
рейтинг книги
Мятежник
4. Стеллар
Фантастика
:боевая фантастика
.
7.39
рейтинг книги
Обгоняя время
13. Девяностые
Фантастика
:попаданцы
.
5.00
рейтинг книги
Наследник павшего дома. Том I
1. Расколотый мир
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Мы пришли к вам с миром!
Вселенная S-T-I-K-S
Фантастика
:научная фантастика
,альтернативная история
.
5.00
рейтинг книги
Неудержимый. Книга IX
9. Неудержимый
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Темный Лекарь 6
6. Темный Лекарь
Фантастика
:аниме
,фэнтези
.
5.00
рейтинг книги
Цеховик. Книга 1. Отрицание
1. Цеховик
Фантастика
:попаданцы
,альтернативная история
.
5.75
рейтинг книги
На границе империй. Том 10. Часть 9
Вселенная EVE Online
Фантастика
:боевая фантастика
,космическая фантастика
,попаданцы
.
5.00
рейтинг книги
Восход. Солнцев. Книга X
10. Голос Бога
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Эммануэль
1. Эммануэль
Любовные романы
:эро литература
.
7.38
рейтинг книги
Шайтан Иван 6
6. Шайтан Иван
Фантастика
:попаданцы
,альтернативная история
,историческое фэнтези
.
7.00
рейтинг книги
Вперед в прошлое 11
11. Вперед в прошлое
Фантастика
:попаданцы
,альтернативная история
.
5.00
рейтинг книги
Вперед в прошлое 6
6. Вперед в прошлое
Фантастика
:попаданцы
,альтернативная история
.
5.00
рейтинг книги
Идеальный мир для Лекаря 4
4. Лекарь
Фантастика
:фэнтези
,юмористическая фантастика
,аниме
.
5.00