DedupeCopy

DedupeCopy เป็นเครื่องมือที่มีการคัดลอกไฟล์มัลติเธรดง่ายออกแบบมาสำหรับการรวมและการปรับโครงสร้างระบบไฟล์แผ่กิ่งก้านสาขา
กรณีที่ใช้บ่อยที่สุดคือการสำรองข้อมูลลงในรูปแบบใหม่โดยไม่สนใจไฟล์ที่ซ้ำกัน
การใช้งานอื่น ๆ ได้แก่ :
& nbsp; 1. การเดินทางไฟล์ csv ที่อธิบายไฟล์ที่ซ้ำกันทั้งหมด
& nbsp; 2. เปรียบเทียบระบบไฟล์ที่แตกต่างกัน
& nbsp; 3. การปรับโครงสร้างชุดของไฟล์ที่มีอยู่ในรูปแบบที่แตกต่างกัน (เช่นเรียงลำดับตามการขยายหรือปรับเปลี่ยนเวลาที่ผ่านมา)
เครื่องมือนี้เป็น * ไม่ Robocopy หรือเปลี่ยน rsync และไม่พยายามที่จะเติมเต็มบทบาทเหล่านั้น
เช่นเดียวกับรหัสที่เดินต้นไม้ไฟล์ทั้งหมดโปรดใช้ด้วยความระมัดระวังและคาดว่าการรับประกันอย่างไม่มี!
ตัวอย่างคำสั่ง:
& nbsp; สร้างรายงานไฟล์ที่ซ้ำกันสำหรับเส้นทาง:
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / ผู้ใช้ / -r dupes.csv -m อย่างชัดแจ้ง
& nbsp; คัดลอกทุกไฟล์ * .jpg จากหลายเส้นทางโครงสร้าง /YYYY_MM/*.jpg
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: ภาพ -p D: ภาพ -e JPG -R JPG: mtime -c X: ภาพ
& nbsp; คัดลอกไฟล์ทั้งหมดจากสองไดรฟ์เพื่อเป้าหมายเดียวรักษาเส้นทางสำหรับ
& nbsp; ส่วนขยายทั้งหมด:
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: ประจักษ์ -R *: no_change
& nbsp; สมัครงานวิ่งขัดจังหวะ (สมมติว่า "-m อย่างชัดแจ้ง" ที่ใช้ในการดำเนินการก่อนหน้านี้):
& nbsp; & nbsp; & nbsp; dedupe_copy.py -p / ผู้ใช้ / -r dupes_2.csv -i ประจักษ์ -m อย่างชัดแจ้ง
ลำดับคัดลอกแหล่งที่มาที่แตกต่างกันเข้าสู่เป้าหมายเดียวกันไม่ได้คัดลอกไฟล์ที่ซ้ำกัน (2 แหล่งที่มาและเป้าหมาย 1):
& nbsp; & nbsp; & nbsp; 1. ) ระเบียนแรกปรากฏสำหรับอุปกรณ์ทั้งหมด
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ เป้าหมาย share -m target_manifest
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source1 share -m source1_manifest
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -m source2_manifest
& nbsp; & nbsp; & nbsp; 2. ) คัดลอกแหล่งที่มาแต่ละเป้าหมาย (ระบุ --compare เพื่อแสดงออกจาก
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; แหล่งข้อมูลอื่น ๆ ที่มีการโหลด แต่ไม่ได้ใช้เป็นส่วนหนึ่งของชุดที่จะคัดลอกและ
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; no-เดินไปข้ามอีกครั้งสแกนของแหล่งที่มา):
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source1 share -c \ เป้าหมาย share -i source1_manifest
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; no-เดิน
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -c \ เป้าหมาย share -i source2_manifest
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-เดิน
ตัวอย่างที่สมบูรณ์:
& nbsp; & nbsp; & nbsp;
& nbsp; & nbsp; & nbsp; สมมติว่าคุณเริ่มต้นด้วยชุดของแฟ้มออกมาวางไว้ดังต่อไปนี้:
& nbsp; & nbsp; & nbsp; C:
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; รูป
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; some_photos
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& nbsp; & nbsp; & nbsp; D:
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; รูป
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& nbsp; & nbsp; & nbsp; และคุณเรียกใช้คำสั่ง:
& nbsp; & nbsp; & nbsp; > dedupe_copy.py -p C: ภาพ -p D: ภาพ -e JPG -R JPG: mtime -c X: ภาพถ่าย
คุณจะจบลงด้วยดังต่อไปนี้ (photo3.jpg เป็นที่ซ้ำกันจริง):
& nbsp; & nbsp; & nbsp; X:
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; ภาพถ่าย
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
โครงการนี​​้อยู่บน bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python