Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Камень
1. Камень
Фантастика
:боевая фантастика
.
6.80
рейтинг книги
Месть Паладина
5. Псевдоним `Испанец`
Фантастика
:фэнтези
,попаданцы
,аниме
.
7.00
рейтинг книги
Запечатанный во тьме. Том 2
2. Хроники Арнея
Фантастика
:уся
,эпическая фантастика
,фэнтези
.
5.00
рейтинг книги
Двойник короля 19
19. Двойник Короля
Фантастика
:аниме
,фэнтези
,попаданцы
.
5.00
рейтинг книги
Как я строил магическую империю 7
7. Как я строил магическую империю
Фантастика
:попаданцы
,постапокалипсис
,аниме
,фантастика: прочее
.
5.00
рейтинг книги
Изгой Проклятого Клана. Том 4
4. Изгой
Фантастика
:аниме
,фэнтези
,фантастика: прочее
,попаданцы
.
5.00
рейтинг книги
Чужак из ниоткуда 4
4. Чужак из ниоткуда
Фантастика
:попаданцы
,альтернативная история
.
5.00
рейтинг книги
Размышления русского боксёра в токийской академии Тамагава
1. Размышления русского боксёра в токийской академии
Фантастика
:альтернативная история
.
6.80
рейтинг книги
Разведчик. Заброшенный в 43-й
Героическая фантастика
Фантастика
:боевая фантастика
,попаданцы
,альтернативная история
.
5.93
рейтинг книги
Фиктивный брак
Фантастика
:фэнтези
.
6.71
рейтинг книги
Цикл романов "Целитель". Компиляция. Книги 1-17
Целитель
Фантастика
:попаданцы
,альтернативная история
.
5.00
рейтинг книги
Седина в бороду, Босс… вразнос!
Юмор
:юмористическая проза
.
5.00
рейтинг книги
На границе империй. Том 6
6. Фортуна дама переменчивая
Фантастика
:боевая фантастика
,космическая фантастика
,попаданцы
.
5.31
рейтинг книги
Неправильный лекарь. Том 4
4. Неправильный лекарь
Фантастика
:городское фэнтези
,попаданцы
,альтернативная история
,аниме
.
5.00
рейтинг книги
Имя нам Легион. Том 10
10. Меж двух миров
Фантастика
:боевая фантастика
,рпг
,аниме
.
5.00
рейтинг книги
Черный маг императора
1. Черный маг императора
Фантастика
:юмористическая фантастика
,попаданцы
,аниме
.
5.00
рейтинг книги
Московское золото или нежная попа комсомолки. Часть Вторая
2. Летчик Леха
Фантастика
:попаданцы
.
5.00