S3QL สนับสนุน Amazon S3 เช่นเดียวกับเซิร์ฟเวอร์ SFTP โดยพลการและมีประสิทธิภาพช่วยให้คุณมีฮาร์ดดิสก์แบบไดนามิกของความจุที่ไม่มีที่สิ้นสุดที่สามารถเข้าถึงได้จากคอมพิวเตอร์เครื่องใดก็ได้ที่มีการเข้าถึงอินเทอร์เน็ต
S3QL จะให้มาตรฐานเต็มรูปแบบที่โดดเด่นของระบบแฟ้ม UNIX ที่เป็นแนวคิดที่แยกไม่ออกจากระบบไฟล์ใด ๆ ในท้องถิ่น นอกจาก S3QL มีคุณสมบัติเพิ่มเติมเช่นการบีบอัด, การเข้ารหัสข้อมูล de ซ้ำต้นไม้ไม่เปลี่ยนรูปและ snapshotting ซึ่งทำให้เหมาะอย่างยิ่งสำหรับการสำรองข้อมูลออนไลน์และการจัดเก็บ
S3QL ได้รับการออกแบบเพื่อให้ประโยชน์แก่ความเรียบง่ายและสง่างามกว่าประสิทธิภาพและคุณลักษณะที่คืบ การดูแลที่ได้รับการดำเนินการเพื่อให้รหัสที่มาอ่านและเป็นประโยชน์ที่เป็นไปได้ การตรวจสอบข้อผิดพลาดที่เป็นของแข็งและจัดการข้อผิดพลาดได้รวมจากบรรทัดแรกมากและมาพร้อมกับ S3QL กว้างขวางอัตโนมัติกรณีทดสอบสำหรับทุกส่วนประกอบของ
ก่อนที่ระบบแฟ้มสามารถติดตั้ง, แบ็กเอนด์ซึ่งจะเก็บข้อมูลจะต้องมีการเริ่มต้น นี้จะกระทำด้วยคำสั่ง mkfs.s3ql ที่นี่เราจะใช้แบ็กเอนด์ Amazon S3 และ nikratio-s3ql ถังเป็นถัง S3 ซึ่งระบบไฟล์จะถูกเก็บไว้
mkfs.s3ql s3: // nikratio-s3ql ถัง
ที่จะติด S3QL ระบบไฟล์ที่เก็บไว้ในถัง nikratio_s3ql_bucket S3 ในไดเรกทอรี / mnt / s3ql ป้อน:
mount.s3ql s3: // nikratio-s3ql ถัง / mnt / s3ql
ตอนนี้คุณสามารถสั่งโปรแกรมสำรองข้อมูลที่คุณชื่นชอบที่จะเรียกใช้การสำรองข้อมูลลงในไดเรกทอรี / mnt / s3ql และข้อมูลจะถูกเก็บไว้ Amazon S3 เมื่อคุณทำไฟล์ระบบจะต้องมีการเดินเท้าด้วย
umount.s3ql mnt / / s3ql
คุณสมบัติ
- ความโปร่งใส แนวคิด S3QL จะแยกไม่ออกจากระบบแฟ้มท้องถิ่น ยกตัวอย่างเช่นมันสนับสนุน hardlinks, symlinks สิทธิ์ยูนิกซ์เต็มคุณลักษณะเพิ่มเติมและขนาดไฟล์สูงสุดถึง 2 TB.
- ขนาดแบบไดนามิก ขนาดของระบบไฟล์ S3QL เติบโตและลดลงแบบไดนามิกตามที่ต้องการ.
- การบีบอัด ก่อนที่จะจัดเก็บข้อมูลทั้งหมดอาจบีบอัดด้วย LZMA, BZIP2 หรืออัลกอริทึม LZ.
- การเข้ารหัสลับ หลังจากการบีบอัด (แต่ก่อนที่จะอัปโหลด) ข้อมูลทั้งหมด AES สามารถเข้ารหัสด้วยคีย์ 256 บิต เพิ่มเติมการตรวจสอบ SHA256 HMAC จะใช้ในการปกป้องข้อมูลกับการจัดการ.
- ทำสำเนาข้อมูล ถ้าหลายไฟล์มีเนื้อหาเหมือนกันข้อมูลซ้ำซ้อนจะถูกเก็บไว้เพียงครั้งเดียว นี้ทำงานในไฟล์ทั้งหมดที่เก็บไว้ในระบบไฟล์และถ้าชิ้นส่วนเพียงบางส่วนของไฟล์ที่เหมือนกันในขณะที่ส่วนอื่น ๆ แตกต่างกัน.
- ต้นไม้ไม่เปลี่ยนรูป ต้นไม้ของไดเรกทอรีที่สามารถทำได้ไม่เปลี่ยนรูปเพื่อให้เนื้อหาของพวกเขาไม่สามารถเปลี่ยนแปลงได้ในทางใด ๆ นี้สามารถนำมาใช้เพื่อให้แน่ใจว่าการสำรองข้อมูลที่ไม่สามารถแก้ไขได้หลังจากที่พวกเขาได้รับการทำ.
- สำเนาบนเขียน / snapshotting S3QL สามารถทำซ้ำต้นไม้สารบบทั้งหมดโดยไม่ต้องใช้พื้นที่จัดเก็บเพิ่มเติมใด ๆ เฉพาะในกรณีที่หนึ่งในเล่มมีการแก้ไขในส่วนของข้อมูลที่ได้รับการแก้ไขจะใช้พื้นที่จัดเก็บเพิ่มเติม นี้สามารถนำมาใช้เพื่อสร้างภาพรวมอัจฉริยะที่รักษาสถานะของไดเรกทอรีที่จุดที่แตกต่างกันในเวลาที่ใช้จำนวนเงินขั้นต่ำของพื้นที่.
- ประสิทธิภาพสูงที่เป็นอิสระจากความล่าช้าของเครือข่าย การดำเนินงานทั้งหมดที่ไม่ได้เขียนหรืออ่านเนื้อหาของแฟ้ม (เช่นการสร้างไดเรกทอรีหรือย้ายเปลี่ยนชื่อและเปลี่ยนสิทธิ์ของไฟล์และไดเรกทอรี) มีความรวดเร็วมากเพราะพวกเขาจะดำเนินการได้โดยไม่ต้องทำธุรกรรมเครือข่ายใด ๆ .
- S3QL นี้ประสบความสำเร็จโดยการบันทึกไฟล์ทั้งหมดและโครงสร้างไดเรกทอรีในฐานข้อมูล ฐานข้อมูลนี้จะถูกเก็บไว้ชั่วคราวในประเทศและสำเนาระยะไกลปรับปรุง asynchronously.
- การสนับสนุนสำหรับการเชื่อมต่อแบนด์วิดธ์ต่ำ S3QL แยกเนื้อหาของแฟ้มลงในบล็อกขนาดเล็กและแคชบล็อกในประเทศ นี้จะช่วยลดทั้งจำนวนของรายการเครือข่ายที่จำเป็นสำหรับการอ่านและเขียนข้อมูลและปริมาณของข้อมูลที่จะต้องมีการโอนเมื่อเพียงบางส่วนของไฟล์ที่มีการอ่านหรือเขียน.
มีอะไรใหม่ ในข่าวประชาสัมพันธ์นี้:
- ความพยายามที่จะอัพเกรดระบบไฟล์ที่มีอยู่แล้วในการแก้ไขใหม่ล่าสุด ไม่ทำให้เมตาดาต้าท้องถิ่นคัดลอกใช้ไม่ได้.
- ชื่อถังเก็บข้อมูลของ Google ที่มีจุดไม่ทำให้เกิดปัญหากับการตรวจสอบใบรับรอง SSL.
- แก้ไขความล้มเหลวเมื่อ statvfs () ถูกเรียกบนระบบไฟล์เกือบจะว่างเปล่า.
- มีใหม่ & quot คือ; swiftks & quot; แบ็กเอนด์สำหรับ OpenStack / เซิร์ฟเวอร์ Swift.
- ขจัดสภาพการแข่งขันที่อาจนำไปสู่การ mount.s3ql crashing กับ & quot; KeyError ในคอลเลกชัน / abc.py & quot;.
- แก้ไขความผิดพลาดที่อาจเกิดขึ้นเมื่อพยายามที่จะทำความสะอาดหลังจากที่ได้รับข้อผิดพลาดการเชื่อมต่อหรือเซิร์ฟเวอร์เมื่ออัปโหลดวัตถุ.
มีอะไรใหม่ ในรุ่น 2.2:
- S3QL ตอนนี้ใช้การเชื่อมต่อ SSL โดยค่าเริ่มต้นและตรวจสอบใบรับรองเซิร์ฟเวอร์
- สภาพการแข่งขันที่ทำให้เกิดการสูญเสียที่เห็นได้ชัดของเมตาดาต้าที่ห่างไกลได้รับการแก้ไข.
- แบ็กเอนด์ S3 ตอนนี้ลบวัตถุที่ใช้จัดเก็บข้อมูลหลายคำขอหนึ่งถ้าเป็นไปได้ช่วยลดความล่าช้าการจราจรและจำนวนของการร้องขอไปยัง S3.
- S3QL ขณะนี้สามารถที่จะตรวจสอบข้อผิดพลาดของเซิร์ฟเวอร์และการเปลี่ยนเส้นทางก่อนที่ข้อมูลทั้งหมดที่ได้รับการส่งไปยังเซิร์ฟเวอร์.
- ใหม่ 'Rackspace' แบ็กเอนด์ที่ช่วยให้สเปคของภูมิภาคการจัดเก็บวัตถุในการจัดเก็บข้อมูล URL ที่ถูกเพิ่มเข้ามา.
- ตัวเลือก mount.s3ql --compress ขณะนี้ช่วยให้สเปคของระดับการบีบอัด.
มีอะไรใหม่ ในรุ่น 1.15:
- การขี่จักรยานของการสำรองข้อมูลเมตาดาต้าเมื่อใช้แบ็กเอนด์ท้องถิ่นตอนนี้จะใช้เวลามาก เวลาที่น้อยลง.
- มันไม่จำเป็นที่ S3QL และ Python APSW จะเชื่อมโยงกับข้อมูล SQLite เดียวกันห้องสมุดสาธารณะ.
- ใน mount.s3ql, ความล้มเหลวเมื่อใช้ --metadata อัพโหลดช่วง 0 ได้รับการแก้ไข.
- แทนที่จะสมบูรณ์ unmounting ระบบแฟ้ม (และออกจากจุดเชื่อมต่อที่ไม่สามารถเข้าถึง) เมื่อข้อมูลที่แบ็กเอนด์จะหายไปหรือเสียหาย S3QL ตอนนี้กลับข้อผิดพลาดและสวิทช์ที่จะอ่านอย่างเดียวการดำเนินงาน.
มีอะไรใหม่ ในรุ่น 1.13:
- รุ่นนี้ช่วยแก้ไขข้อผิดพลาดที่ทำให้เกิดเมตาดาต้าที่ไม่ถูกต้องที่จะเขียน ออกเมื่อใช้รุ่น eglibc ที่ผ่านมา.
- มันช่วยแก้ไขปัญหาเมื่อพยายามที่จะเข้าถึงไดเรกทอรีที่รากของระบบไฟล์ที่ถูกลบออกเมื่อเร็ว ๆ นี้กับ s3qlrm.
- การสนับสนุนชัดเจน ACL ถูกลบ.
- จับรุ่นนี้ดีกว่าถังที่มีชื่อ DNS ที่ไม่ถูกต้อง.
- มันจะลองใหม่อีกครั้งถ้า DNS ไม่สามารถใช้ได้.
มีอะไรใหม่ ในรุ่น 1.11.1:
- รุ่นนี้ช่วยแก้ไขความผิดพลาดเมื่อใช้แบ็กเอนด์ S3 (การถดถอยนำมาใช้ในการเปิดตัว 1.11), เพิ่มขนาดของระบบแฟ้มรายงานขั้นต่ำ 1 TB และทำงานรอบข้อผิดพลาด DF ดังนั้นขนาดมีรายงานอย่างถูกต้อง.
มีอะไรใหม่ ในรุ่น 1.11:
- เมตาเกี่ยวกับวัตถุที่เก็บไว้อยู่ในขณะนี้แบ่งออกเป็นหลายเขตข้อมูลดังนั้น ไม่มีข้อมูลมีความยาวมากกว่า 256 ไบต์ (ซึ่งทำให้ S3QL เข้ากันได้กับช่วงกว้างของการให้บริการจัดเก็บ.) แบ็กเอนด์ SWIFT retries ตอนนี้ถ้าได้รับรหัสข้อผิดพลาด 5xx จากเซิร์ฟเวอร์ระยะไกลและไม่ได้ล้มเหลวเมื่อพยายามที่จะอัปโหลดข้อมูลกับโทเค็นรับรองความถูกต้องที่หมดอายุ.
มีอะไรใหม่ ในรุ่น 1.10:
- S3S, s3cs และแบ็กเอนด์ GSS ได้ถูกลบออก ใช้ตัวเลือก --ssl ใหม่ร่วมกับ s3, S3C และแบ็กเอนด์กรัมแทน.
- S3QL ไม่ติดตามการค้ำประกันความมั่นคงสำหรับแบ็กเอนด์ที่แตกต่างกัน.
- จำนวนที่เพิ่มขึ้นของผู้ให้บริการจัดเก็บข้อมูลที่แตกต่างกันนำเสนอพื้นที่ที่แตกต่างซ้ำซ้อนและระดับความพร้อมนี้ทำให้ไม่มีความเป็นไปได้อีกต่อไป.
- คู่มือการใช้งานที่มีส่วนใหม่ & quot; กฎที่สำคัญควรหลีกเลี่ยงการสูญเสียข้อมูล & quot;.
- อ่านก็ขอแนะนำ.
มีอะไรใหม่ ในรุ่น 1.9:
- รุ่นนี้ทำให้ครั้งไฟล์ไม่เปลี่ยนเมื่อมีการเปลี่ยนแปลงระบบ โซนเวลา, การแก้ไขและปรับปรุง contrib / benchmark.p, แก้ไข & quot; มากเกินไปการเปลี่ยนเส้นทางที่ถูกล่ามโซ่ & quot; ข้อผิดพลาด retries ในข้อผิดพลาด 5xx เซิร์ฟเวอร์และเพิ่มการสนับสนุนพื้นเมืองทดลอง OpenStack / เซิร์ฟเวอร์ SWIFT และการสนับสนุนพร็อกซี่ทดลอง.
มีอะไรใหม่ ในรุ่น 1.8:
- & quot; ValueError: ไม่สามารถถ่ายโอนข้อมูลค่า NULL & quot; ความล้มเหลวเมื่อข้อมูลเมตาของระบบไฟล์ถูกอัพโหลดในระหว่างการออกกำลังระบบแฟ้มหนักได้รับการแก้ไข.
- s3qlcp และประสิทธิภาพการทำงานรายการไดเรกทอรีสำหรับไดเรกทอรีขนาดใหญ่มากได้รับการปรับปรุงให้ดีขึ้น.
- ปัญหาประสิทธิภาพที่ถดถอย RM ได้รับการแก้ไข.
- -. บล็อคเปลี่ยนชื่อเป็น --max-obj ขนาด
- เกิดความผิดพลาดบางอย่างที่เกิดขึ้นภายใต้การใช้งานระบบไฟล์พร้อมกันอย่างหนักได้รับการแก้ไข.
- หลาม llfuse 0.37 ถูกนำมาใช้ในขณะนี้.
ข้อ จำกัด
- ยังมีความอุดมสมบูรณ์ของข้อบกพร่องในรหัสและคุณควรจะพร้อมที่จะจัดการกับ พวกเขา แต่คุณสามารถมั่นใจได้พอสมควรว่าข้อบกพร่อง (ถึงแม้จะไม่สะดวก) จะไม่เป็นอันตรายต่อข้อมูลที่เก็บไว้ของคุณ.
ความคิดเห็นที่ไม่พบ