SỰ KHÁC BIỆT GIỮA HDFS VÀ MAP REDUCE LÀ GÌ

Khái niệm : Mapreduce là 1 trong quy mô lập trình sẵn, triển khai vượt tình xử lý tập tài liệu mập. Mapreduce có 2 pha : maps và reduce.Hàm Map : Các cách xử lý một cặp (key, value) để ra đời một cặp (keyI, valueI) - key với value trung gian. Dữ liệu này input đầu vào vào hàm Reduce. Hàm Reduce : Tiếp nhận các (keyI, valueI) và trộn những cặp (keyI, valueI) trung gian , mang ra những valueI bao gồm thuộc keyI.

Việc của thiết kế viên là quan tâm cho tới 2 hàm Map và Reduce. Còn các sự việc khác như : phân loại các dữ liệu nguồn vào, lịch trình triển khai những machines, handling những machines failure, cai quản việc tiếp xúc thân những machines là việc của hệ thống run-time.=> Lập trình viên hoàn toàn có thể không có kinh nghiệm tay nghề về hệ thống tuy vậy tuy nhiên với phân tán vẫn dễ dãi vận hành một hệ thống phân tán phệ. Áp dụng mô hình MapReduce điều khiển xe trên lượng mập các machine cỡ hàng chục ngàn machine cùng data lên tới nút Terabytes.

Bạn đang xem: Sự Khác Biệt Giữa Hdfs Và Map Reduce Là Gì

Các job sau dễ dãi sử dụng Mapreduce:

Thống kê số tự khóa mở ra trong các documents.Thống kê số documents có đựng từ khóa.Thống kê số câu match cùng với pattern trong các documents.Thống kê số URLs xuất hiện trong những website pages.Thống kê số lượt truy vấn những URLs.Thống kê số từ khóa bên trên những hostnames.Distributed Sort.

Xem thêm: Người Tuổi Tỵ Hợp Cây Gì Theo Phong Thuỷ, Tuổi Tỵ Hợp Cây Gì

Hoạt động :

Ý tưởngChia sự việc đề xuất cách xử lý thành các phần nhỏ nhằm giải pháp xử lý.Xử lý những phần bé dại đó một biện pháp tuy nhiên tuy vậy và độc lập trên những máy tính xách tay phân tán.Tổng hợp các công dụng thu được nhằm dưa ra hiệu quả ở đầu cuối.Hoạt đụng của MapReduce hoàn toàn có thể được bắt tắt nhỏng sau:Đọc dữ liệu đầu vàoXử lý dữ liệu đầu vào (thực hiện hàm map)Sắp xếp và trộn những công dụng nhận được tự những máy tính xách tay phân tán tương thích độc nhất vô nhị.Tổng phù hợp các kết quả trung gian chiếm được ( thực hiện hàm reduce) Đưa ra tác dụng sau cuối.

Xem thêm: Trò Chơi Trang Điểm Công Chúa, Cách Chơi Game Trang Điểm Cô Dâu Đẹp

Implementation

Thông qua thỏng viện MapReduce áp dụng với từng ngôn từ, công tác tất cả nhiệm vụ phân mhình ảnh tệp dữ liệu nguồn vào. Dữ liệu vào được tạo thành những phần nhỏ tuổi 16 megabytes mang đến 64 megabytes (MB). Sau kia khởi rượu cồn bài toán coppy chương trình bên trên các clusters.Các máy bao gồm có: master cùng worker. Trong số đó máy master có tác dụng nhiệm vụ điều phối sự hoạt động của quy trình triển khai MapReduce bên trên những đồ vật worker, những thiết bị worker làm cho trách nhiệm triển khai Map và Reduce cùng với dữ liệu mà nó cảm nhận. Bằng biện pháp đặt trạng thái idle thứ workers và sau đó gắn cho từng sản phẩm task bản đồ hoặc reduce.Máy master đang triển khai phân pân hận những tác vụ Map với Reduce vào các worker đang rãnh rỗi. Các tác vụ này được master phân păn năn cho các máy vi tính dựa vào địa chỉ của tài liệu tương quan vào hệ thống. Máy worker Lúc nhận được tác vụ Map sẽ hiểu dữ liệu nhưng mà nó dìm từ bỏ phân vùng tài liệu vẫn gán mang lại nó và tiến hành hàm Map. Kết trái đầu ra là những cặp (keyI,valueI) trung gian. Các cặp này được giữ tạm bên trên bộ lưu trữ đệm của các thiết bị.Sau Khi thực hiện xong quá trình Map, những lắp thêm worker làm nhiệm vụ phân tách những cực hiếm trung gian thành R vùng ( tương ứng cùng với R tác vụ Reduce) lưu lại xuống đĩa với thông tin kết quả, vị trí lưu giữ cho máy master.Master đã gán cực hiếm trung gian với địa điểm của những dữ liệu đó cho các vật dụng tiến hành các bước Reduce. Các sản phẩm công nghệ reducer làm nhiệm vụ xử lý sắp xếp các key, tiến hành hàm Reduce với giới thiệu hiệu quả cuối cùng.Master đang kích hoạt thông báo cho công tác người dùng quá trình MapReduce đã hoàn toàn, hiệu quả cổng output được tàng trữ bên trên R tập tin.

Nguồn dẫn trường đoản cú : <1> Jeffrey Dean, Sanjay Ghemawat. Mapreduce : Simplified Data Processing on Large Clusters. In OSDI, 2004