Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Газлайтер. Том 12
12. История Телепата
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Барон не играет по правилам
1. Закон сильного
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Монстр из прошлого тысячелетия
5. Соприкосновение миров
Фантастика
:попаданцы
,аниме
,фэнтези
.
5.00
рейтинг книги
Аристократ из прошлого тысячелетия
3. Соприкосновение миров
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Князь
5. Светлая Тьма
Фантастика
:юмористическое фэнтези
,городское фэнтези
,аниме
,сказочная фантастика
.
5.00
рейтинг книги
Бастард Императора. Том 11
11. Бастард Императора
Фантастика
:городское фэнтези
,попаданцы
,аниме
,фэнтези
.
5.00
рейтинг книги
Кодекс Охотника. Книга XXIV
24. Кодекс Охотника
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Ботаник
1. Ботаник
Фантастика
:фэнтези
,боевая фантастика
.
4.56
рейтинг книги
Дворянин
2. Император и трубочист
Фантастика
:боевая фантастика
,альтернативная история
.
5.00
рейтинг книги
Адвокат Империи 8
8. Адвокат империи
Фантастика
:городское фэнтези
,альтернативная история
,аниме
,дорама
,фантастика: прочее
,попаданцы
.
5.00
рейтинг книги
Варяг
1. Варяг
Фантастика
:альтернативная история
.
9.10
рейтинг книги
Мечник Вернувшийся 1000 лет спустя
1. Вернувшийся мечник
Фантастика
:аниме
,фэнтези
,попаданцы
.
5.00
рейтинг книги
Страх
2. Дети Арбата
Проза
:историческая проза
.
9.49
рейтинг книги
Камень. Книга шестая
6. Камень
Фантастика
:боевая фантастика
.
7.64
рейтинг книги
Матабар V
5. Матабар
Фантастика
:фэнтези
.
5.00
рейтинг книги
Наследие Маозари
1. Наследие Маозари
Фантастика
:рпг
,попаданцы
,аниме
.
5.80
рейтинг книги
Последний Паладин. Том 9
9. Путь Паладина
Фантастика
:попаданцы
,аниме
,фэнтези
.
5.00