Apache Spark

Spark ได้รับการออกแบบมาเพื่อปรับปรุงความเร็วในการประมวลผลสำหรับการวิเคราะห์ข้อมูลและโปรแกรมการจัดการ
มันถูกเขียนใน Java และ Scala และมีคุณสมบัติที่ไม่พบในระบบอื่น ๆ ส่วนใหญ่เป็นเพราะพวกเขาไม่ได้เป็นหลักหรือที่มีประโยชน์สำหรับการใช้งานการประมวลผลข้อมูลที่ไม่ใช่.

มีอะไรใหม่ ในรุ่นนี้:.

• API หลักในขณะนี้สนับสนุนการรวมต้นไม้หลายระดับที่จะช่วยเพิ่มความเร็วในการดำเนินงานลดราคาแพง
• รายงานข้อผิดพลาดที่ดีขึ้นได้รับการเพิ่มสำหรับการดำเนินงานบาง gotcha.
• การพึ่งพาท่าเทียบเรือจุดประกายเป็นสีเทาในขณะนี้ที่จะช่วยให้หลีกเลี่ยงความขัดแย้งกับโปรแกรมที่ใช้.
• จุดประกายในขณะนี้สนับสนุนการเข้ารหัส SSL สำหรับปลายทางการสื่อสารบางอย่าง.
• ตัวชี้วัด Realtime GC และจำนวนบันทึกได้รับการเพิ่ม UI.

มีอะไรใหม่ ในรุ่น 1.3.0:

• API หลักในขณะนี้สนับสนุนการรวมต้นไม้หลายระดับ ที่จะช่วยเพิ่มความเร็วในการดำเนินงานลดราคาแพง.
• รายงานข้อผิดพลาดที่ดีขึ้นได้รับการเพิ่มสำหรับการดำเนินงานบาง gotcha.
• การพึ่งพาท่าเทียบเรือจุดประกายเป็นสีเทาในขณะนี้ที่จะช่วยให้หลีกเลี่ยงความขัดแย้งกับโปรแกรมที่ใช้.
• จุดประกายในขณะนี้สนับสนุนการเข้ารหัส SSL สำหรับปลายทางการสื่อสารบางอย่าง.
• ตัวชี้วัด Realtime GC และจำนวนบันทึกได้รับการเพิ่ม UI.

มีอะไรใหม่ ในรุ่น 1.2.1:

• ผู้ประกอบการจัดเรียงของ PySpark ขณะนี้สนับสนุน spilling ภายนอกสำหรับชุดข้อมูลขนาดใหญ่ .
• PySpark ขณะนี้สนับสนุนตัวแปรออกอากาศขนาดใหญ่กว่า 2GB และดำเนินการในช่วงหกภายนอกทุกประเภท.
• Spark เพิ่มหน้าความคืบหน้าของงานในระดับ UI Spark, มั่นคง API สำหรับการรายงานความคืบหน้าและการปรับปรุงแบบไดนามิกของตัวชี้วัดการส่งออกเป็นงานที่สมบูรณ์.
• จุดประกายในขณะนี้ได้รับการสนับสนุนสำหรับการอ่านไฟล์ไบนารีสำหรับภาพและรูปแบบไบนารีอื่น ๆ .

สิ่งที่ใหม่ ในรุ่น 1.0.0:

• ข่าวประชาสัมพันธ์ฉบับนี้ขยายห้องสมุดมาตรฐาน Spark แนะนำใหม่ แพคเกจ SQL (SQL Spark) ที่ช่วยให้ผู้ใช้รวมแบบสอบถาม SQL เข้าสู่ขั้นตอนการทำงานที่มีอยู่ Spark.
• MLlib ห้องสมุดการเรียนรู้เครื่องจุดประกายของการขยายด้วยการสนับสนุนเวกเตอร์เบาบางและขั้นตอนวิธีการใหม่ ๆ .

มีอะไรใหม่ ในรุ่น 0.9.1:

• ข้อผิดพลาดชนกัญชาถาวรในหกภายนอก
• ความขัดแย้งคงมี log4j Spark สำหรับผู้ใช้อาศัยการเข้าสู่ระบบแบ็ก​​เอนด์อื่น ๆ
• Graphx คงหายไปจากขวดชุมนุมจุดประกายในการสร้างผู้เชี่ยวชาญ
• ความล้มเหลวเงียบคงที่เนื่องจากการ map สถานะการส่งออกเกินขนาดกรอบ Akka
• Spark ลบของการพึ่งพาโดยตรงที่ไม่จำเป็นใน ASM
• ลบปมตัวชี้วัดจากค่าเริ่มต้นสร้างเนื่องจากความขัดแย้งใบอนุญาตแอลจี
• แก้ไขข้อผิดพลาดในการจัดจำหน่าย tarball ไม่ได้มีการชุมนุมจุดประกายขวด

มีอะไรใหม่ ในรุ่น 0.8.0:

• การพัฒนาได้ย้ายไปอยู่ที่มูลนิธิอาปาเช่เป็น Sowftware โครงการศูนย์บ่มเพาะ.

สิ่งที่ใหม่ ในรุ่น 0.7.3:

• ประสิทธิภาพหลาม: กลไกการจุดประกายสำหรับวางไข่งูหลาม VMs มี รับการปรับปรุงจะทำเช่นนั้นได้เร็วขึ้นเมื่อ JVM มีขนาดกองขนาดใหญ่เร่งขึ้น Python API.
• Mesos แก้ไข: ขวดเพิ่มให้กับงานของคุณตอนนี้จะอยู่ใน classpath เมื่อ deserializing ผลงานใน Mesos
.
• การรายงานข้อผิดพลาด:. รายงานข้อผิดพลาดที่ดีขึ้นสำหรับข้อยกเว้นที่ไม่ serializable และผลงานที่มีขนาดใหญ่เกินไป
• ตัวอย่าง:. เพิ่มตัวอย่างของการประมวลผลกระแส stateful กับ updateStateByKey
• สร้าง:. Spark สตรีมมิ่งไม่ได้ขึ้นอยู่กับ repo Twitter4J ซึ่งจะอนุญาตให้สร้างในประเทศจีน
• แก้ไขข้อผิดพลาดใน foldByKey นับสตรีมมิ่งวิธีสถิติเอกสารและเว็บ UI.

มีอะไรใหม่ ในรุ่น 0.7.2:.

• รุ่น Scala ปรับปรุงเพื่อ 2.9.3
• การปรับปรุงหลายที่จะ Bagel รวมทั้งการแก้ไขประสิทธิภาพการทำงานและการจัดเก็บข้อมูลในระดับที่กำหนด.
• วิธี API ใหม่:. subtractByKey, foldByKey, mapWith, filterWith, foreachPartition และอื่น ๆ
• ตัวชี้วัดใหม่รายงานอินเตอร์เฟซ SparkListener ในการเก็บรวบรวมข้อมูลเกี่ยวกับแต่ละขั้นตอนการคำนวณ:. ความยาวงานไบต์สับ ฯลฯ
• ตัวอย่างใหม่ ๆ โดยใช้ Java API รวมทั้ง K-วิธีการและการคำนวณปี่.

มีอะไรใหม่ ในรุ่น 0.7.0:

• Spark 0.7 เพิ่ม API ที่เรียกว่างูหลาม PySpark <. / li>
• งานจุดประกายในขณะนี้เปิดแผงควบคุมเว็บสำหรับการตรวจสอบการใช้งานหน่วยความจำของแต่ละชุดข้อมูลที่กระจาย (RDD) ในโปรแกรม.
• Spark ขณะนี้คุณสามารถสร้างขึ้นโดยใช้ Maven นอกเหนือไปจาก SBT.

มีอะไรใหม่ ในรุ่น 0.6.1:

• ข้อความเชิงรุกมากเกินไปคง timeouts ที่อาจทำให้คนงานที่จะ ตัดการเชื่อมต่อจากคลัสเตอร์.
• แก้ไขข้อผิดพลาดในการปรับใช้โหมดสแตนด์อโลนที่ไม่เปิดเผยชื่อโฮสต์ที่จะกำหนดการส่งผลกระทบต่อท้องถิ่น HDFS.
• นำมาใช้การเชื่อมต่อที่ดีขึ้นในการสับเปลี่ยนที่มากสามารถเพิ่มความเร็ว shuffles ขนาดเล็ก.
• มีศักยภาพบางอย่างคงที่ตายในการจัดการบล็อก.
• แก้ไขข้อผิดพลาดได้รับรหัสของครอบครัวล้มเหลวจาก Mesos.
• การปรับปรุงสคริปต์ EC2 หลายเช่นการจัดการที่ดีของกรณีจุด.
• ทำอยู่ในท้องถิ่นที่จุดประกายผูกกับการปรับแต่ง.
• การสนับสนุนสำหรับการกระจาย Hadoop 2.
• การสนับสนุนสำหรับตำแหน่งสกาล่าในการกระจาย Debian.

มีอะไรใหม่ ในรุ่น 0.6.0:.

• การใช้งานที่เรียบง่าย
• เอกสาร Spark ได้รับการขยายด้วยคู่มือเริ่มต้นอย่างรวดเร็วใหม่คำแนะนำการใช้งานเพิ่มเติมคู่มือการตั้งค่า, คู่มือการปรับแต่งและเอกสารที่ดีขึ้น Scaladoc API.
• ผู้จัดการการสื่อสารไม่ตรงกันใหม่โดยใช้ Java NIO ช่วยให้การดำเนินงานสับเปลี่ยนทำงานได้เร็วขึ้นโดยเฉพาะอย่างยิ่งเมื่อมีการส่งข้อมูลจำนวนมากหรือเมื่องานมีงานจำนวนมาก.
• ผู้จัดการจัดเก็บข้อมูลใหม่รองรับต่อชุดการตั้งค่าระดับการจัดเก็บข้อมูล (เช่นว่าจะเก็บชุดข้อมูลในหน่วยความจำ deserialized บนดิสก์ ฯลฯ หรือแม้กระทั่งการจำลองแบบทั่วโหนด).
• การแก้จุดบกพร่องที่เพิ่มขึ้น.