MooseFS

MooseFS เป็นความผิดใจกว้าง, เครือข่ายระบบแฟ้มกระจายที่แพร่กระจายข้อมูลผ่านเซิร์ฟเวอร์ทางกายภาพหลายอย่างที่จะมองเห็นให้กับผู้ใช้เป็นหนึ่งในทรัพยากรที่ & nbsp; สำหรับการกระทำที่ดำเนินงานไฟล์มาตรฐาน MooseFS เป็นระบบไฟล์ Unix เหมือนกันอื่น ๆ .
& nbsp; * โครงสร้างลำดับชั้น (ต้นไม้ directory)
& nbsp; * แอตทริบิวต์แฟ้ม POSIX ร้านค้า (สิทธิ์การเข้าถึงที่ผ่านมาและการปรับเปลี่ยนครั้ง)
& nbsp; * รองรับไฟล์พิเศษ (บล็อกและอุปกรณ์ตัวอักษรท่อและซ็อกเก็ต)
& nbsp; * การเชื่อมโยงสัญลักษณ์ (ชื่อไฟล์ที่ชี้ไปยังเป้าหมายไฟล์ไม่จำเป็นต้องใน MooseFS) และการเชื่อมโยงอย่างหนัก (ชื่อที่แตกต่างกันของไฟล์ที่อ้างถึงข้อมูลเดียวกันใน MooseFS)
& nbsp; * การเข้าถึงระบบไฟล์ที่สามารถ จำกัด ตามที่อยู่ IP และ / หรือรหัสผ่าน
คุณสมบัติที่โดดเด่นของ MooseFS คือ:
& nbsp; * ความน่าเชื่อถือสูง (หลายสำเนาของข้อมูลจะถูกเก็บไว้ในคอมพิวเตอร์ที่แยกต่างหาก)
& nbsp; * กำลังการผลิตเป็นแบบไดนามิกขยายได้โดยการแนบเครื่องคอมพิวเตอร์ใหม่ / ดิสก์
& nbsp; * ไฟล์ที่ถูกลบจะถูกเก็บไว้เป็นระยะเวลาที่กำหนดของเวลา (ระบบไฟล์ที่มีระดับ "ถังขยะ")
& nbsp; * ภาพรวมการเชื่อมโยงกันของไฟล์ที่แม้ในขณะที่ไฟล์จะถูกเขียน / เข้าถึงได้
MooseFS ประกอบด้วยสี่ส่วนประกอบ:
& nbsp; * เซิร์ฟเวอร์ผู้จัดการ (เซิร์ฟเวอร์หลัก) & ndash; เครื่องเดียวการจัดการระบบแฟ้มทั้งการจัดเก็บข้อมูลเมตาสำหรับทุกไฟล์ (ข้อมูลเกี่ยวกับขนาดลักษณะและตำแหน่งของไฟล์ (s), รวมทั้งข้อมูลทั้งหมดที่เกี่ยวกับไฟล์ที่ไม่ปกติไดเรกทอรีเช่นซ็อกเก็ต, ท่อและอุปกรณ์)
& nbsp; * ข้อมูลเซิร์ฟเวอร์ (เซิร์ฟเวอร์ก้อน) - จำนวนของเซิร์ฟเวอร์สินค้าใด ๆ การจัดเก็บข้อมูลไฟล์และทำข้อมูลให้ตรงกันในหมู่ตัวเอง (ถ้าไฟล์บางควรจะมีอยู่ในมากกว่าหนึ่งสำเนา)
& nbsp; * เซิร์ฟเวอร์สำรองเมตาดาต้า (s) (เซิร์ฟเวอร์ metalogger) - จำนวนของเซิร์ฟเวอร์ใด ๆ ซึ่งทั้งหมด changelogs เมตาดาต้าที่เก็บและระยะการดาวน์โหลดข้อมูลไฟล์หลัก; เพื่อส่งเสริมเซิร์ฟเวอร์เหล่านี้กับบทบาทของเซิร์ฟเวอร์การจัดการเมื่อต้นแบบหลักหยุดทำงาน
& nbsp; * คอมพิวเตอร์ไคลเอนต์ที่เข้าถึง (ภูเขา) ไฟล์ใน MooseFS - จำนวนเครื่องใด ๆ โดยใช้กระบวนการ mfsmount การสื่อสารกับเซิร์ฟเวอร์การจัดการ (การรับและปรับเปลี่ยนข้อมูลไฟล์) และ chunkservers (การแลกเปลี่ยนไฟล์ข้อมูลที่เกิดขึ้นจริง)
mfsmount จะขึ้นอยู่กับกลไกการ FUSE (ระบบแฟ้มใน userspace) ดังนั้น MooseFS ที่มีอยู่ในทุกระบบปฏิบัติการที่มีการดำเนินงานฟิวส์ทำงาน (Linux, FreeBSD, MacOS X ฯลฯ )
เมตาจะถูกเก็บไว้ในหน่วยความจำของเซิร์ฟเวอร์การจัดการและบันทึกพร้อมกันไปยังดิสก์ (เป็นไฟล์ไบนารีปรับปรุงเป็นระยะ ๆ และมีการปรับปรุงทันทีบันทึกที่เพิ่มขึ้น) แฟ้มไบนารีหลักเช่นเดียวกับการบันทึกจะตรงกับ metaloggers (ถ้ามี)
แฟ้มข้อมูลจะถูกแบ่งออกเป็นเศษ (ชิ้น) สูงสุด 64MiB แต่ละ ก้อนแต่ละตัวเองเป็นไฟล์บนดิสก์ที่เลือกบนเซิร์ฟเวอร์ข้อมูล (chunkservers)
ความน่าเชื่อถือสูงจะประสบความสำเร็จโดยการกำหนดค่ามากที่สุดเท่าที่เซิร์ฟเวอร์ข้อมูลที่แตกต่างกันตามความเหมาะสมที่จะตระหนักถึง "เป้าหมาย" ค่า (จำนวนสำเนาที่จะให้) การตั้งค่าสำหรับไฟล์ที่กำหนด
ระบบการทำงาน
ทั้งหมดการดำเนินงานไฟล์ในคอมพิวเตอร์ของลูกค้าที่มีการติดตั้ง MooseFS เป็นเหมือนกับที่พวกเขาจะได้อยู่กับไฟล์ระบบอื่น ๆ เคอร์เนลระบบปฏิบัติการถ่ายโอนการดำเนินงานไฟล์ทั้งหมดโมดูลฟิวส์ซึ่งสื่อสารกับกระบวนการ mfsmount กระบวนการ mfsmount สื่อสารผ่านเครือข่ายต่อมากับเซิร์ฟเวอร์และเซิร์ฟเวอร์การจัดการข้อมูล (เซิร์ฟเวอร์ก้อน) กระบวนการทั้งหมดนี้เป็นอย่างโปร่งใสให้กับผู้ใช้
mfsmount สื่อสารกับเซิร์ฟเวอร์การจัดการเวลาในการทำงานเกี่ยวกับข้อมูลไฟล์ที่จำเป็นทุก:
& nbsp; * การสร้างไฟล์
& nbsp; * ลบไฟล์
& nbsp; * ไดเรกทอรีอ่าน
& nbsp; * การอ่านและการเปลี่ยนแปลงคุณลักษณะ
& nbsp; * เปลี่ยนขนาดของแฟ้ม
& nbsp; * ในช่วงเริ่มต้นของการอ่านหรือเขียนข้อมูล
& nbsp; * ในการเข้าถึงไฟล์พิเศษใน MFSMETA ใด ๆ
mfsmount ใช้การเชื่อมต่อโดยตรงกับข้อมูลเซิร์ฟเวอร์ (server ก้อน) ที่เก็บก้อนที่เกี่ยวข้องของไฟล์ เมื่อมีการเขียนแฟ้มหลังจากจบขั้นตอนการเขียนเซิร์ฟเวอร์การจัดการได้รับข้อมูลจาก mfsmount การปรับปรุงยาวของไฟล์และเวลาแก้ไขล่าสุด
นอกจากนี้เซิร์ฟเวอร์ข้อมูล (เซิร์ฟเวอร์ก้อน) สื่อสารกับแต่ละอื่น ๆ ที่จะทำซ้ำข้อมูลเพื่อให้บรรลุจำนวนที่เหมาะสมของสำเนาของไฟล์ในเครื่องที่แตกต่างกัน
& nbsp;
ความผิดปกติความอดทน
& nbsp;
คำสั่งในการบริหารช่วยให้ผู้ดูแลระบบเพื่อระบุ "เป้าหมาย" หรือจำนวนสำเนาที่ควรได้รับการรักษาเมื่อวันที่ต่อไดเรกทอรีหรือต่อไฟล์ที่มีระดับ การตั้งค่าเป้าหมายที่จะมากกว่าหนึ่งและมีมากกว่าหนึ่งเซิร์ฟเวอร์ข้อมูลที่จะให้ยอมรับความผิด เมื่อข้อมูลที่เป็นไฟล์จะถูกเก็บไว้ในสำเนามาก (มากกว่าหนึ่งเซิร์ฟเวอร์ข้อมูล) ระบบสามารถทนต่อความล้มเหลวหรือปัญหาเครือข่ายชั่วคราวของเซิร์ฟเวอร์ข้อมูลเดียว
หลักสูตรนี้ไม่ได้หมายถึงไฟล์ที่มี "เป้าหมาย" ตั้งค่าเป็น 1 ในกรณีที่ไฟล์จะอยู่บนเซิร์ฟเวอร์ข้อมูลเดียวโดยไม่คำนึงถึงวิธีการหลายเซิร์ฟเวอร์ข้อมูลที่จะนำไปใช้ในระบบ
โดยเฉพาะอย่างยิ่งไฟล์ที่สำคัญอาจจะมีเป้าหมายของพวกเขาตั้งค่าเป็นจำนวนที่สูงขึ้นกว่าสองซึ่งจะช่วยให้ไฟล์เหล่านี้จะทนต่อการสลายของเซิร์ฟเวอร์มากกว่าหนึ่งเครื่องในครั้งเดียว
โดยทั่วไปการตั้งค่าสำหรับจำนวนของสำเนาที่มีอยู่ควรจะเป็นหนึ่งมากกว่าจำนวนที่คาดว่าจะไม่สามารถเข้าถึงหรือออกจากการสั่งซื้อเซิร์ฟเวอร์
ในกรณีที่เซิร์ฟเวอร์ข้อมูลเดียวประสบความล้มเหลวหรือขาดการเชื่อมต่อจากเครือข่าย, ไฟล์ที่เก็บอยู่ภายในที่มีอย่างน้อยสองชุดจะยังคงสามารถเข้าถึงข้อมูลจากเซิร์ฟเวอร์อื่น ข้อมูลที่มีในขณะนี้ภายใต้เป้าหมายที่จะได้รับการจำลองแบบบนเซิร์ฟเวอร์ที่สามารถเข้าถึงข้อมูลอื่นอีกครั้งให้จำนวนที่ต้องการของสำเนา
มันควรจะตั้งข้อสังเกตว่าถ้าจำนวนของเซิร์ฟเวอร์ที่มีอยู่ต่ำกว่า "เป้าหมาย" ที่ตั้งไว้สำหรับไฟล์ที่กำหนดจำนวนที่ต้องการของสำเนาไม่สามารถเก็บรักษาไว้ ในทำนองเดียวกันถ้ามีหมายเลขเดียวกันของเซิร์ฟเวอร์เป็นเป้าหมายการตั้งค่าในขณะนี้และหากข้อมูลเซิร์ฟเวอร์ได้ถึง 100% ของความจุของมันก็จะไม่สามารถที่จะเริ่มต้นที่จะถือสำเนาของแฟ้มที่มีอยู่ในขณะนี้ต่ำกว่าเกณฑ์เป้าหมายเนื่องจากไปยังอีก ข้อมูลเซิร์ฟเวอร์จะออฟไลน์ ในกรณีนี้ข้อมูลเซิร์ฟเวอร์ใหม่ควรจะเชื่อมต่อกับระบบโดยเร็วที่สุดเท่าที่เป็นไปได้เพื่อรักษาจำนวนที่ต้องการของสำเนาของไฟล์
ข้อมูลเซิร์ฟเวอร์ใหม่ที่สามารถเชื่อมต่อกับระบบได้ตลอดเวลา ทันทีกำลังการผลิตใหม่จะกลายเป็นใช้ได้สำหรับการใช้งานในการจัดเก็บไฟล์ใหม่หรือจะถือสำเนาจำลองแบบของไฟล์จากเซิร์ฟเวอร์ข้อมูลอื่น ๆ
สาธารณูปโภคในการบริหารที่มีอยู่เพื่อสอบถามสถานะของไฟล์ในระบบไฟล์เพื่อตรวจสอบว่าไฟล์ใด ๆ อยู่ในขณะนี้ต่ำกว่าเป้าหมายของพวกเขา (จำนวนชุดของสำเนา) ยูทิลิตี้นี้ยังสามารถใช้ในการปรับเปลี่ยนการตั้งค่าเป้าหมายตามที่ต้องการ
ชิ้นส่วนข้อมูลที่เก็บไว้ในชิ้นจะ versioned ดังนั้นอีกครั้งการเชื่อมต่อเซิร์ฟเวอร์ข้อมูลพร้อมสำเนาเก่าของข้อมูล (เช่นหากได้รับออฟไลน์สำหรับระยะเวลาหนึ่ง) จะไม่ทำให้เกิดไฟล์ที่จะกลายเป็นไม่ต่อเนื่องกัน ข้อมูลเซิร์ฟเวอร์จะประสานตัวเองที่จะถือรุ่นปัจจุบันของชิ้นที่ล้าสมัยชิ้นจะถูกลบออกและพื้นที่ว่างจะได้รับการจัดสรรจะถือชิ้นใหม่
ความล้มเหลวของเครื่องไคลเอนต์ (ที่ทำงานกระบวนการ mfsmount) จะต้องไม่มีผลต่อการเชื่อมโยงกันของระบบแฟ้มหรือในการดำเนินงานของลูกค้าอื่น ๆ ในสถานการณ์กรณีที่เลวร้ายที่สุดข้อมูลที่ยังไม่ได้ส่งมาจากคอมพิวเตอร์ไคลเอนต์ล้มเหลวอาจจะสูญหายไป
& nbsp;
กระเช้า
& nbsp; MooseFS ที่มีอยู่ในทุกระบบปฏิบัติการที่มีการดำเนินงานฟิวส์ทำงาน:
& nbsp; * ลินุกซ์ (Linux 2.6.14 ขึ้นไปได้รับการสนับสนุน FUSE รวมอยู่ในเคอร์เนลเป็นทางการ)
& nbsp; * FreeBSD
& nbsp; * OpenSolaris
& nbsp; * MacOS X
เซิร์ฟเวอร์หลักเซิร์ฟเวอร์ metalogger และ chunkservers ยังสามารถทำงานบน Solaris หรือ Windows กับ Cygwin แต่น่าเสียดายที่โดยไม่ต้องฟิวส์มันจะไม่เป็นไปได้ที่จะติดระบบแฟ้มภายในระบบปฏิบัติการเหล่านี้

มีอะไรใหม่ ในข่าวประชาสัมพันธ์ฉบับนี้.

< li> การเปลี่ยนแปลงที่สำคัญมากที่สุด ได้แก่ การจัดการสัญญาณการแก้ไขในโมดูลแบบมัลติเธรดเป้าหมายและข้อ จำกัด ใน trashtime mfsexport.cfg และการตรวจสอบที่ง่ายสำหรับไฟล์ข้อมูลเมตาดาวน์โหลด.

มีอะไรใหม่ ในรุ่น 1.6.19:

• การเปลี่ยนแปลงอย่างมีนัยสำคัญได้รับการแนะนำให้รู้จักกับเครื่อง metalogger และ metarestore เครื่องมือสำหรับความสมบูรณ์ดีกว่าของเมตาดาต้า.
• การสแกนแถบความคืบหน้าใน CS ถูกเพิ่มเข้ามา.
• ชื่อต้นแบบได้รับการแก้ไขในขณะนี้เมื่อการเชื่อมต่อล้มเหลว.
• เซสชันใหม่ถูกสร้างขึ้นเมื่อหนึ่งก่อนหน้านี้จะหายไป.
• จำนวนมากแก้ไขข้อผิดพลาดอื่น ๆ และการปรับปรุงที่ทำ.

มีอะไรใหม่ ในรุ่น 1.6.17:

• ในข่าวประชาสัมพันธ์ฉบับนี้เราได้นำการจัดการแคชข้อมูลอัตโนมัติ .
• มันก็เพียงพอที่จะอัพเกรดเพียงเซิร์ฟเวอร์หลัก (การเปลี่ยนแปลงในเซิร์ฟเวอร์อันไม่ 'หรือลูกค้า' รหัสที่ถูกสร้างขึ้น).
• กลไกแคชเคอร์เนลเสมอมีอยู่ แต่ถึงตอนนี้แคชเคลียร์เสมอเมื่อเปิดไฟล์ ตอนนี้ควบคุม MooseFS ว่าจะล้างมันหรือไม่โดยการตรวจสอบว่าไฟล์ที่ถูกหรือไม่ถูกแก้ไขโดยลูกค้าอีก ลองดูที่บางสถานการณ์.
• สถานการณ์ครั้งแรก:
• 1 คอมพิวเตอร์อ่านไฟล์ X
• 2 B คอมพิวเตอร์อ่านไฟล์ X
• 3 คอมพิวเตอร์ต้องการที่จะอ่านไฟล์ X - เราออกจากแคช (ไฟล์ไม่เปลี่ยนแปลง)
• สถานการณ์ที่สอง:
• 1 คอมพิวเตอร์อ่านไฟล์ X
• 2 คอมพิวเตอร์เขียนไปยังแฟ้ม X
• 3 คอมพิวเตอร์ต้องการทอร์อ่านไฟล์ X - เราออกจากแคช (แฟ้มถูกเปลี่ยนแปลง แต่คอมพิวเตอร์รู้เกี่ยวกับการเปลี่ยนแปลงเหล่านี้)
• สถานการณ์ที่สาม:
• 1 คอมพิวเตอร์อ่านไฟล์ X
• 2 คอมพิวเตอร์ B เขียนไปยังแฟ้ม X
• 3 คอมพิวเตอร์ต้องการที่จะอ่านไฟล์ X - ที่นี่เรามีที่จะบังคับให้ลบแคช (เพราะการเปลี่ยนแปลงที่ทำโดยคอมพิวเตอร์ B และคอมพิวเตอร์ไม่ทราบเกี่ยวกับพวกเขา)
• ในสภาพแวดล้อมจริงสถานการณ์ครั้งแรกและครั้งที่สองเกิดขึ้นโดยไกลบ่อยกว่าสถานการณ์ที่สามและที่ว่าทำไมมันก็มีเหตุผลที่จะออกจากเนื้อหาของแคชและได้รับประสิทธิภาพการทำงานของระบบโดยรวม.
• แน่นอนมีบางสถานการณ์ที่ค่าเฉลี่ย (แต่พวกเขายังมีอยู่ก่อน) เช่นนี้:
• 1 คอมพิวเตอร์เปิดแฟ้ม X และอ่านมันสมบูรณ์ (ไฟล์อยู่ในแคช)
• 2 คอมพิวเตอร์ B ปรับเปลี่ยนไฟล์ X
• 3 คอมพิวเตอร์อีกครั้งอ่านแฟ้ม X (แต่ไม่ต้องปิดหรือเปิดมัน - เพียงแค่ย้ายที่ตำแหน่ง 0 และ rereading ได้)
• ในสถานการณ์เช่นนี้คอมพิวเตอร์จะได้รับข้อมูลเช่นเดียวกับขั้นตอนที่ 1 แต่เดียวกันยังเกิดขึ้นใน MooseFS ก่อน.
• แอตทริบิวต์ nodatacache ยังได้รับการแนะนำที่ห้ามการแคชไฟล์ จากรุ่น 1.6.17 ขึ้นไฟล์ที่มี nodatacache แอตทริบิวต์ทำตัวเหมือนไฟล์ได้ในรุ่นเก่าของ MooseFS ธงนี้สามารถนำมาใช้กับเครื่องมือ mfsseteattr mfsdeleattr และ mfsgeteattr.
• ธงนี้ถูกเพิ่มเข้ามา preventively และอาจจะคุณจะไม่จำเป็นต้องใช้มัน ถ้าหลังจากที่บางครั้งก็ปรากฏว่านี้เป็นจริงไร้ประโยชน์ก็จะถูกลบออก แต่ถ้าคุณพบว่ากรณีใด ๆ / สถานการณ์ที่เรียกร้องการปิดใช้งาน cache กลไกอัตโนมัติโปรดร่วมกับเรา.