Apache Hadoop ได้รับการพัฒนาขึ้นโดย Yahoo และโครงการคือการรวมกันระหว่าง Apache Hadoop หลักและ Apache Hadoop Repos ร่วมกันก่อนหน้านี้.
โครงการ Hadoop ได้รับมากขอบคุณความประพฤติให้ได้ผลลัพธ์ที่ดีในการดำเนินการหลายเซิร์ฟเวอร์ระบบคอมพิวเตอร์กระจายสำหรับการจัดการข้อมูลจำนวนมาก.
โครงการที่ตัวเองจะทำจริงสี่ส่วน หนึ่งคือ Hadoop ทั่วไปแกนเรียกว่าที่ช่วยให้โมดูลอื่น ๆ ทั้งหมดในการทำงานที่สองคือระบบไฟล์ของตัวเองมาก - HDFS (Hadoop Distributed File System) ที่สามเป็นกรอบการตั้งเวลาเส้นด้าย Hadoop และในที่สุดก็มีระบบ Hadoop MapReduce เพื่อรองรับการประมวลผลแบบขนาน.
การใช้ระบบทำลายพื้นเหล่านี้ Apache มีการจัดการเพื่อสร้างโครงการด้านอื่น ๆ อีกมากมายเช่น:
- Apache Ambari
- Apache รว์
- Apache Cassandra
- Apache HBase
- Apache Hive
- Apache ควาญช้าง
- Apache หมู
- Apache Spark
- Apache Tez
- Apache ZooKeeper
ทั้งหมดเหล่านี้พึ่งพาเครื่องมือประมวลผลข้อมูล Hadoop ที่มีประสิทธิภาพหรือคุณลักษณะการคำนวณการกระจายของการบูรณาการอย่างใดอย่างหนึ่งของโมดูลในหลักของพวกเขาเป็นวิธีหนึ่งหรืออื่น ๆ .
มีอะไรใหม่ ในรุ่นนี้:
- การสนับสนุนสำหรับการจัดเก็บเอกสาร
- ข้อมูลที่โปร่งใสในการเข้ารหัสส่วนที่เหลือ (เบต้า)
- การดำเนินงาน DataNode ที่เชื่อถือได้โดยไม่ต้องมีการเข้าถึงราก
- ไดรฟ์แบบ Hot swap: สนับสนุนเพิ่ม / ลบโหนดปริมาณข้อมูลโดยไม่ต้องรีสตาร์ทข้อมูลโหนด (เบต้า)
- การสนับสนุนสำหรับการเข้ารหัส AES ลวดเร็วขึ้น
- การสนับสนุนสำหรับการให้บริการระยะยาวในเส้นด้าย
- ป้ายโหนดการสนับสนุนในช่วงการตั้งเวลา
- การสนับสนุนสำหรับการจองทรัพยากรตามเวลาในความสามารถจัดตารางเวลา (เบต้า)
- ทั่วโลก, แคชใช้ร่วมกันสำหรับการประยุกต์ใช้สิ่งประดิษฐ์ (เบต้า)
- การสนับสนุนการทำงานของ natively ในภาชนะบรรจุที่หาง (alpha)
คืออะไรใหม่ ในรุ่น 2.7.1:
- การสนับสนุนสำหรับการจัดเก็บเอกสาร
- ข้อมูลที่โปร่งใสในการเข้ารหัสส่วนที่เหลือ (เบต้า)
- การดำเนินงาน DataNode ที่เชื่อถือได้โดยไม่ต้องมีการเข้าถึงราก
- ไดรฟ์แบบ Hot swap: สนับสนุนเพิ่ม / ลบโหนดปริมาณข้อมูลโดยไม่ต้องรีสตาร์ทข้อมูลโหนด (เบต้า)
- การสนับสนุนสำหรับการเข้ารหัส AES ลวดเร็วขึ้น
- การสนับสนุนสำหรับการให้บริการระยะยาวในเส้นด้าย
- ป้ายโหนดการสนับสนุนในช่วงการตั้งเวลา
- การสนับสนุนสำหรับการจองทรัพยากรตามเวลาในความสามารถจัดตารางเวลา (เบต้า)
- ทั่วโลก, แคชใช้ร่วมกันสำหรับการประยุกต์ใช้สิ่งประดิษฐ์ (เบต้า)
- การสนับสนุนการทำงานของ natively ในภาชนะบรรจุที่หาง (alpha)
คืออะไรใหม่ ในรุ่น 2.7.0:
- การสนับสนุนสำหรับการจัดเก็บเอกสาร
- ข้อมูลที่โปร่งใสในการเข้ารหัสส่วนที่เหลือ (เบต้า)
- การดำเนินงาน DataNode ที่เชื่อถือได้โดยไม่ต้องมีการเข้าถึงราก
- ไดรฟ์แบบ Hot swap: สนับสนุนเพิ่ม / ลบโหนดปริมาณข้อมูลโดยไม่ต้องรีสตาร์ทข้อมูลโหนด (เบต้า)
- การสนับสนุนสำหรับการเข้ารหัส AES ลวดเร็วขึ้น
- การสนับสนุนสำหรับการให้บริการระยะยาวในเส้นด้าย
- ป้ายโหนดการสนับสนุนในช่วงการตั้งเวลา
- การสนับสนุนสำหรับการจองทรัพยากรตามเวลาในความสามารถจัดตารางเวลา (เบต้า)
- ทั่วโลก, แคชใช้ร่วมกันสำหรับการประยุกต์ใช้สิ่งประดิษฐ์ (เบต้า)
- การสนับสนุนการทำงานของ natively ในภาชนะบรรจุที่หาง (alpha)
คืออะไรใหม่ ในรุ่น 2.6.0:
- การสนับสนุนสำหรับการจัดเก็บเอกสาร
- ข้อมูลที่โปร่งใสในการเข้ารหัสส่วนที่เหลือ (เบต้า)
- การดำเนินงาน DataNode ที่เชื่อถือได้โดยไม่ต้องมีการเข้าถึงราก
- ไดรฟ์แบบ Hot swap: สนับสนุนเพิ่ม / ลบโหนดปริมาณข้อมูลโดยไม่ต้องรีสตาร์ทข้อมูลโหนด (เบต้า)
- การสนับสนุนสำหรับการเข้ารหัส AES ลวดเร็วขึ้น
- การสนับสนุนสำหรับการให้บริการระยะยาวในเส้นด้าย
- ป้ายโหนดการสนับสนุนในช่วงการตั้งเวลา
- การสนับสนุนสำหรับการจองทรัพยากรตามเวลาในความสามารถจัดตารางเวลา (เบต้า)
- ทั่วโลก, แคชใช้ร่วมกันสำหรับการประยุกต์ใช้สิ่งประดิษฐ์ (เบต้า)
- การสนับสนุนการทำงานของ natively ในภาชนะบรรจุที่หาง (alpha)
มีอะไรใหม่ ในรุ่น 2.5.0:.
- การปรับปรุงการตรวจสอบสิทธิ์เมื่อใช้พร็อกซีเซิร์ฟเวอร์ HTTP
- ใหม่ Hadoop ตัวชี้วัดอ่างล้างจานที่ช่วยให้การเขียนโดยตรงกับกราไฟท์.
- ข้อมูลจำเพาะสำหรับความพยายามของระบบไฟล์ Hadoop เข้ากันได้.
- การสนับสนุนสำหรับคุณสมบัติการขยาย POSIX สไตล์ระบบแฟ้ม.
- OfflineImageViewer การเรียกดูผ่าน fsimage WebHDFS API.
- การปรับปรุงการสนับสนุนและแก้ไขข้อผิดพลาดกับ The Gateway NFS.
- เว็บทันสมัย UIs (HTML5 และจาวาสคริปต์) สำหรับภูต HDFS.
- เส้นด้ายสนับสนุน REST API สำหรับการส่งและฆ่าการใช้งาน.
- บูรณาการสำหรับการจัดเก็บ Kerberos ไทม์ไลน์ของเส้นด้าย.
มีอะไรใหม่ ในรุ่น 2.4.0:
- การสนับสนุนสำหรับการควบคุมการเข้าถึงรายการใน HDFS
- การสนับสนุนพื้นเมืองสำหรับโรลลิ่งสอัพเกรดใน HDFS
- การใช้งานของโปรโตคอลบัฟเฟอร์สำหรับ HDFS FSImage สำหรับการอัพเกรดการดำเนินงานที่ราบรื่น
- การสนับสนุน HTTPS สมบูรณ์ใน HDFS
- การสนับสนุนสำหรับ failover อัตโนมัติของเส้นด้าย ResourceManager
- เพิ่มการสนับสนุนสำหรับการใช้งานใหม่บนเส้นด้ายกับแอพลิเคชันเซิร์ฟเวอร์ประวัติศาสตร์และการประยุกต์ใช้เส้นเซิร์ฟเวอร์
- การสนับสนุนสำหรับ SLAs แข็งแกร่งในเส้นด้าย CapacityScheduler ผ่านใบจอง
มีอะไรใหม่ ในรุ่น 2.3.0:.
- การสนับสนุนสำหรับการจัดเก็บข้อมูลลำดับชั้นต่างกันใน HDFS
- แคชในหน่วยความจำสำหรับข้อมูล HDFS กับการบริหารแบบรวมศูนย์และการจัดการ.
- การจัดจำหน่ายที่เรียบง่ายของไบนารี MapReduce ผ่าน HDFS ในเส้นด้ายแคชกระจาย.
คืออะไรใหม่ ในรุ่น 2.2.0:
- ไหมพรม - มีระบบการบริหารจัดการทรัพยากรอเนกประสงค์ Hadoop ที่จะอนุญาตให้ MapReduce และอื่น ๆ ที่กรอบการประมวลผลข้อมูลและบริการอื่น ๆ
- ความพร้อมสูงสำหรับ HDFS
- HDFS สหพันธ์
- HDFS ภาพรวม
- การเข้าถึง NFSv3 กับข้อมูลใน HDFS
มีอะไรใหม่ ในรุ่น 2.1.0 เบต้า:
- HDFS ภาพรวม
- การสนับสนุนสำหรับการเรียกใช้ Hadoop บน Microsoft Windows
- การรักษาเสถียรภาพเส้นด้าย API
มีอะไรใหม่ ในรุ่น 2.0.3 อัลฟา:
- QJM สำหรับ HDFS HA สำหรับ NameNode
- การตั้งเวลาหลายทรัพยากร (CPU และหน่วยความจำ) สำหรับเส้นด้าย
- ไหมพรม ResourceManager เริ่มต้นใหม่
- ความมั่นคงที่สําคัญในระดับสำหรับเส้นด้าย (กว่า 30,000 โหนดและการใช้งาน 14 ล้านเพื่อให้ห่างไกลในเวลาที่ปล่อย)
มีอะไรใหม่ ในรุ่น 1.0.0:.
- การรักษาความปลอดภัยที่ดีขึ้น
- HBase (ผนวก / hsynch / hflush และความปลอดภัย).
- webhdfs (ด้วยการสนับสนุนอย่างเต็มที่สำหรับการรักษาความปลอดภัย).
- เพิ่มประสิทธิภาพการเข้าถึงไฟล์ในท้องถิ่นสำหรับ HBase.
- การปรับปรุงประสิทธิภาพการทำงานอื่น ๆ , แก้ไขข้อผิดพลาดและคุณลักษณะ.
มีอะไรใหม่ ในรุ่น 0.20.2:
- บัฟเฟอร์เซิร์ฟเวอร์ RPC ส่งยังคงมีขนาดใหญ่ที่สุดที่เคยตอบสนอง ส่ง.
- c ++ ห้องสมุดไม่ได้สร้างใน Debian Lenny.
- บาง C ++ สคริปต์ไม่ได้ chmodded ก่อนการประหารชีวิตมด.
- Streaming:. กระบวนการจัดให้มีข้อความแสดงสถานะจะถูกเขียนทับทุก 10 seoncds
- IllegalArgumentException เมื่อ CombineFileInputFormat ใช้เป็น InputFormat งาน.
- ข้อบกพร่องหลาย w / Hadoop จดหมายเหตุ.
- อนุญาตแคชกรณีระบบแฟ้มที่จะปิดการใช้งานบนพื้นฐานต่ออินสแตนซ์.
- หายไปประสาน defaultResources ใน Configuration.addResource.
- GzipCodec ไม่ควรจะเป็นตัวแทน BuiltInZlibInflater เป็น decompressorType.
- NameNode ของ HTTPServer ไม่สามารถยกตัวอย่าง InetSocketAddress: IllegalArgumentException ถูกโยน .
- HTTPServer นอนกับค่าลบ.
- Namenode ทำงานของหน่วยความจำเนื่องจากการรั่วไหลของหน่วยความจำในเซิร์ฟเวอร์ IPC.
- ข้อผิดพลาดของลูกค้า IPC อาจทำให้เกิดการเรียก RPC แขวน.
- การทดสอบล้มเหลวป้องกันไม่ให้ส่วนที่เหลือของเป้าหมายการทดสอบจากการดำเนินการ.
- ทดสอบ Contrib มีความล้มเหลวในการสร้าง Clover'ed.
- การทดสอบไม่ได้ทำงานในสาขาที่ 0.20.
- TestStreamingStatus เป็นความล้มเหลวในสาขา 0.20.
ความคิดเห็นที่ไม่พบ