ภาพหน้าจอของซอฟแวร์:
รายละเอียดซอฟแวร์:
ซอฟต์แวร์ Methabot เป็นความเร็วที่ดีที่สุดเว็บสคริปต์และกำหนดค่าสูง, FTP และระบบไฟล์ซอฟต์แวร์รวบรวมข้อมูล มันสนับสนุนการแยกวิเคราะห์สคริปต์ไฟล์ที่หลากหลายของตัวเลือกการปรับแต่งและการกำหนดค่าได้อย่างง่ายดายเพื่อให้พอดีกับความต้องการเฉพาะของทุกคน
ด้วยการใช้ระบบโมดูลและภาษาสคริปต์ที่ผู้ใช้สามารถที่จะใช้การควบคุมทั้งหมดหรือบางส่วนของกระบวนการรวบรวมข้อมูลและตัดสินใจ แต่ Methabot ควรเก็บข้อมูลเว็บสถิติและอื่น ๆ อีกมากมาย
เพียงแค่ทำงาน Methabot จากบรรทัดคำสั่งคุณสามารถกำหนดค่า filetypes กำหนดเองการแสดงออกกรองพฤติกรรมและอื่น ๆ อีกมากมายเพื่อให้คุณไม่จำเป็นต้องเป็นเก่ง
คุณสมบัติ :
- มันรวดเร็วออกแบบจากพื้นดินขึ้นไปด้วยความเร็วที่เพิ่มประสิทธิภาพในใจ.
- Scriptable ผ่าน Javascript กับ E4X
- ผู้ใช้กำหนดกรอง filetype (ตามชนิดไมม์ขยายไฟล์หรือการแสดงออก UMEX)
- แบบมัลติเธรด
- กำหนดค่าสูงจากบรรทัดคำสั่ง
- ระบบโมดูล Extensible สนับสนุน parsers ข้อมูลที่กำหนดเองและตัวกรอง.
- ง่ายและมีประสิทธิภาพการกรอง URL ที่ผ่าน UMEX.
- การดาวน์โหลดอัตโนมัติ
- การสนับสนุนสำหรับการจัดการคุกกี้อัตโนมัติเมื่อใช้งานผ่าน HTTP
- เชื่อถือเครือข่ายความผิดพลาด
- แบบพกพา, การทดสอบกับความสำเร็จใน 32-bit / 64 บิตลินุกซ์ 2.6 32-bit / 64 บิต FreeBSD 6.x / 7.0, Windows XP และ Mac OS X ควรจะทำงานบนเกือบทุก Unix เหมือนระบบปฏิบัติการ
มีอะไรใหม่ ในข่าวประชาสัมพันธ์นี้:
- แก้ไขข้อผิดพลาดเมื่อมองภายนอกได้ถูกใช้ในการ จำกัด ระดับความลึกได้ messed up.
- การทำความสะอาดใช้หน่วยความจำแก้ไข
- ตัวเลือกแบบไดนามิก url ที่มีการตั้งค่าไม่ได้ที่จะค้นหาโดยปริยายเพราะมันช้าลงอย่างมีนัยสำคัญในการรวบรวมข้อมูล
- สร้างระบบในขณะนี้สร้างและติดตั้งบางไฟล์ส่วนหัวว่าโมดูลสามารถใช้เมื่อเชื่อมโยง
- เครื่องมือเมธา-เพิ่มการตั้งค่า
- lmm_mysql เคลื่อนย้ายออกนอกแพคเกจนี้
มีอะไรใหม่ ในรุ่น 1.5.0:
- การเปลี่ยนแปลงและคุณสมบัติใหม่:
- การสนับสนุนสำหรับการอ่านบัฟเฟอร์ intial จาก stdin
- - ชนิดและ --base-สมาชิกเลือกบรรทัดคำสั่งเพิ่มพร้อมกับตัวเลือกที่ initial_filetype ในแฟ้มการกำหนดค่า
- คุกกี้และข้อมูล DNS อยู่ในขณะนี้อย่างถูกต้องที่ใช้ร่วมกันระหว่างคนงานเมื่อทำงานแบบมัลติเธรด
- เพิ่มการใช้งานตัวอย่างเช่นคำสั่งบางอย่างที่จะ --examples
- บิ๊กเพื่อปรับปรุงการสื่อสารระหว่างด้ายตอนนี้ได้เร็วขึ้นและการจัดระเบียบมากขึ้น
- เพิ่มการสนับสนุนสำหรับ 'init' ฟังก์ชั่นการใช้สคริปต์ อ่านเพิ่มเติมเกี่ยวกับฟังก์ชั่นที่ init http://bithack.se/projects/methabot/docs/e4x/init_functions.html
- libmetha ไม่หยุดเมื่อทำพร้อมกันหลาย HTTP ร้องขอหัวอีกต่อไป เหตุผลที่ค้างเป็นข้อผิดพลาดใน libcurl ซึ่งได้รับการแก้ไขในขณะนี้ วิธีการแก้ปัญหาบางคนได้รับการเพิ่ม libmetha เพื่อป้องกันไม่ให้ค้างจากการเกิดขึ้นเมื่อมีการใช้ข้อบกพร่อง libcurl รุ่นเช่นกัน.
- การสนับสนุนสำหรับรุ่นเก่า libcurl 7.17.x และ 7.16.x
- ข้อมูลใหม่ ๆ ที่มีอยู่ใน & quot; นี้ & quot; เป้าหมายของ parsers javascript, ประเภทเนื้อหาและรหัสสถานะการถ่ายโอน อ่านเพิ่มเติมได้ที่ http://bithack.se/projects/methabot/docs/e4x/this.html
- - ตัวเลือกอย่างละเอียดแทนที่ด้วย --silent ตั้งแต่โหมด verbose อยู่ในขณะนี้เริ่มต้น
- การสนับสนุนเริ่มต้นสำหรับ FTP ที่รวบรวมข้อมูลและตัวเลือกซอฟต์แวร์รวบรวมข้อมูล ftp_dir_url
- ความลึก จำกัด ในขณะนี้คือซอฟต์แวร์รวบรวมข้อมูลเฉพาะ
- เพิ่มตัวเลือกบรรทัดคำสั่ง --crawler และ --filetype
- การสนับสนุนสำหรับการขยายและซอฟต์แวร์รวบรวมข้อมูลที่สำคัญที่กำหนดไว้แล้วและ filetypes
- การสนับสนุนสำหรับคำหลักในการคัดลอกไฟล์การกำหนดค่า
- การสนับสนุนสำหรับการเปลี่ยนแบบไดนามิกที่ใช้งานซอฟต์แวร์รวบรวมข้อมูลนี้จะช่วยให้คุณรวบรวมข้อมูลเว็บไซต์ที่แตกต่างกันในรูปแบบที่แตกต่างอย่างสิ้นเชิงในเซสชั่นการรวบรวมข้อมูล อ่านเพิ่มเติมเกี่ยวกับการเปลี่ยนซอฟต์แวร์รวบรวมข้อมูลที่ http://bithack.se/projects/methabot/docs/crawler_switching.html
- รุ่น libev อัพเกรดเป็น 3.51
- รวมถึงคำสั่งในแฟ้มการกำหนดค่าในขณะนี้ทำให้แน่ใจว่าการตั้งค่าไฟล์รวมถึงยังไม่ได้รับการโหลดแล้วเพื่อป้องกันไม่ให้รวมถึงลูปและหลาย filetype / คำจำกัดความของซอฟต์แวร์รวบรวมข้อมูล.
- เก็บขยะแมงมุมต่างๆแก้ไข libmetha ไม่ผิดพลาดอีกต่อไปเมื่อการทำความสะอาดขึ้นหลังจากที่เซสชั่นแบบมัลติเธรด
- เพิ่มข้อมูลบางอย่างที่พิเศษที่จะเป็นตัวเลือกที่ --info
- ตัวเลือก 'ภายนอก' ได้รับการแก้ไขในขณะนี้และเปิดใช้งานอีกครั้ง
- ตัวเลือกใหม่งาน --spread
- New libmetha ฟังก์ชัน API lmetha_global_setopt () ช่วยให้การเปลี่ยนข้อผิดพลาดระดับโลก / ข้อความ / นักข่าวเตือน
- เพิ่มการดำเนินการเริ่มต้นของชุดทดสอบสำหรับนักพัฒนา
- รายงานข้อผิดพลาดที่ดีขึ้นเมื่อโหลดแฟ้มการกำหนดค่า
- แก้ไขข้อผิดพลาดเมื่อเซิร์ฟเวอร์ HTTP ไม่ได้กลับหัวชนิดเนื้อหาหลังจากที่ขอหัว
- แก้ไขข้อผิดพลาดเมื่อ URL ที่เรียงลำดับหลังจากการร้องขอ HTTP หัวหลาย
- แก้ไขข้อผิดพลาดใน html เพื่อแปลง XML เมื่อหน้า HTML ไม่ได้มี & lt; html ที่ & gt; แท็ก
- แก้ไขข้อผิดพลาดตัวเลือก extless-url ที่ไม่ได้ทำงาน
- แก้ไขข้อผิดพลาด, HTML เพื่อแปลง XML ที่ไม่ฉายาในเครื่องหมายไบต์สั่งซื้อหรือข้อความอื่น ๆ ก่อนที่จะเกิดขึ้นจริง HTML
- แก้ไขข้อผิดพลาดป้องกัน libmetha จากความพยายามในการเข้าถึง URL ที่ของโปรโตคอลที่ไม่ได้รับการสนับสนุน
- แก้ไขข้อผิดพลาดเมื่อปิดหลังจากข้อผิดพลาด.
- แก้ไขข้อผิดพลาด URL ที่ไม่สามารถแก้ไขไม่ได้แยกออกจากวงลองใหม่อีกครั้งหลังจากที่สามลอง
- การสนับสนุนการทดลองมากและไม่แน่นอนสำหรับ Win32, วัตถุประสงค์หลักสำหรับนักพัฒนา
- แฟ้มการกำหนดค่าใหม่:
- google.conf เพื่อดำเนินการค้นหาของ Google
- youtube.conf, YouTube ค้นหา
- meta.conf พิมพ์ meta ข้อมูลดังกล่าวเป็นคำหลักและคำอธิบายเกี่ยวกับหน้าเว็บ HTML
- title.conf, พิมพ์ชื่อของหน้าเว็บ HTML
- ftp.conf สำหรับการรวบรวมข้อมูลเซิร์ฟเวอร์ FTP
มีอะไรใหม่ ในรุ่น 1.4.1:
- การตั้งค่าคอนฟิกไม่สามารถหา jsapi.h ในบางระบบ นี้ควรได้รับการแก้ไขในขณะนี้.
- ไฟล์การกำหนดค่าอยู่ในขณะนี้สามารถที่จะปรับเปลี่ยนธงซอฟต์แวร์รวบรวมข้อมูลและไฟล์เพิ่มตัวเลือก 'ภายนอก' และ 'external_peek'
- แก้ไขข้อผิดพลาด, Methabot บางครั้งจะมีปัญหาเมื่อทำความสะอาด URL ที่ว่างเปล่าหลังจาก HTTP หัวหลาย
- คงที่ความผิดพลาดที่เกิดขึ้นเมื่อทำงานพร้อมกัน.
- สร้างระบบรวมถึงการแก้ไขเมื่อ jsconfig.h ไม่พบ.
ต้องการ
- ส่วนหัวแมงมุม
- ม้วน
ความคิดเห็นที่ไม่พบ