Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Простолюдин
1. Путь князя
Фантастика
:боевая фантастика
,рпг
.
5.00
рейтинг книги
Вперед в прошлое!
1. Вперед в прошлое
Фантастика
:попаданцы
.
5.00
рейтинг книги
Старшеклассник без клана. Апелляция кибер аутсайдера 2
2. Старшеклассник без клана. Апелляция аутсайдера
Фантастика
:попаданцы
,аниме
.
5.00
рейтинг книги
Отвергнутая невеста генерала драконов
5. Генералы драконов
Любовные романы
:любовно-фантастические романы
.
5.00
рейтинг книги
Княжья Русь
6. Варяг
Приключения
:исторические приключения
.
9.04
рейтинг книги
Дворянин
2. Император и трубочист
Фантастика
:боевая фантастика
,альтернативная история
.
5.00
рейтинг книги
Третье правило диверсанта
Фантастика
:постапокалипсис
.
5.67
рейтинг книги
Князь Мещерский
3. Зауряд-врач
Фантастика
:альтернативная история
.
8.35
рейтинг книги
Законник Российской Империи
1. Словом и делом
Фантастика
:городское фэнтези
,альтернативная история
,аниме
.
5.00
рейтинг книги
Атаман. Гексалогия
Фантастика
:попаданцы
,альтернативная история
,историческое фэнтези
.
8.15
рейтинг книги
Наномашины, ученик! Том 6
6. Первый среди карапузов
Фантастика
:попаданцы
,аниме
,фэнтези
.
5.00
рейтинг книги
Вперед в прошлое 10
10. Вперед в прошлое
Фантастика
:попаданцы
,альтернативная история
.
5.00
рейтинг книги
Барон обходит правила
14. Закон сильного
Фантастика
:аниме
,фэнтези
,попаданцы
.
5.00
рейтинг книги
Печать мастера
6. Гибрид
Фантастика
:попаданцы
,технофэнтези
,аниме
,фэнтези
.
6.00
рейтинг книги
Как я строил магическую империю 4
4. Как я строил магическую империю
Фантастика
:боевая фантастика
,постапокалипсис
,аниме
,фантастика: прочее
,фэнтези
.
5.00
рейтинг книги
Законы Рода. Том 8
8. Граф Берестьев
Фантастика
:юмористическое фэнтези
,аниме
,фэнтези
.
5.00
рейтинг книги
Последний Паладин. Том 5
5. Путь Паладина
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00