Beaver

บีเวอร์เป็นภูตหลามที่ Munches ในการบันทึกและส่งเนื้อหาของพวกเขาที่จะ logstash
การติดตั้ง
ใช้ PIP:
จาก Github:
PIP ติดตั้งคอมไพล์ + คอมไพล์: //github.com/josegonzalez/beaver.git#egg=beaver
จาก PyPI:
PIP ติดตั้งช่องคลอด == 1
การใช้งาน
การใช้งาน:
ช่องคลอด [-h] [-r {คนงานโต้ตอบ}] [-m {ผูกเชื่อมต่อ}] [-p PATH]
& nbsp; [- ฉไฟล์ไฟล์ [... ]] [-t ขนส่ง]
อาร์กิวเมนต์ตัวเลือก:
-h, --help แสดงข้อความช่วยเหลือนี้และออกจาก
-r {คนงานโต้ตอบ}, {--run คนงานโต้ตอบ}
& nbsp; เรียกใช้งานหรือโหมดโต้ตอบ
-m {ผูกเชื่อมต่อ}, {--mode ผูกเชื่อมต่อ}
& nbsp; ผูกหรือเชื่อมต่อโหมด
-p PATH เส้นทางเส้นทาง --path เข้าสู่ระบบแฟ้ม
-f ไฟล์ไฟล์ [... ], --files ไฟล์ไฟล์ [... ]
& nbsp; Filelist พื้นที่แยกที่จะดู แทนที่ --path
& nbsp; อาร์กิวเมนต์
-t {AMQP, Redis, stdout}, {--transport AMQP, Redis, stdout}
& nbsp; เข้าสู่ระบบวิธีการขนส่ง
ความเป็นมา
บีเวอร์มีวิธีการที่มีน้ำหนักเบาสำหรับการจัดส่งแฟ้มบันทึกท้องถิ่นเพื่อ Logstash มันเป็นเช่นนี้โดยใช้ Redis, stdin, zeromq การขนส่ง ซึ่งหมายความว่าคุณจะต้อง Redis, stdin, zeromq ป้อนข้อมูลบางลงถนนที่จะได้รับเหตุการณ์ที่เกิดขึ้น
เหตุการณ์ที่เกิดขึ้นจะถูกส่งไปในรูปแบบของ json_event logstash ตัวเลือกนอกจากนี้ยังสามารถกำหนดให้เป็นตัวแปรสภาพแวดล้อม
ตัวอย่าง
ตัวอย่างที่ 1: ฟังไฟล์ทั้งหมดในเส้นทางเริ่มต้นของ / var / log มาตรฐานออก:
สัตว์ชนิดหนึ่ง
ตัวอย่างที่ 2: การส่งบันทึกจาก / var / log ไฟล์ไปยังรายการ redis:
REDIS_URL = "redis: // localhost: 6379/0" ช่องคลอด -t redis
ตัวอย่างที่ 3: ใช้ตัวแปรสภาพแวดล้อมที่จะส่งบันทึกจาก / var / log ไฟล์ไปยังรายการ redis:
REDIS_URL = "redis: // localhost: 6379/0" BEAVER_PATH = "/ var / log" BEAVER_TRANSPORT = redis ช่องคลอด
ตัวอย่างที่ 4: Zeromq ฟังพอร์ต 5556 (การเชื่อมต่อทั้งหมด)
ZEROMQ_ADDRESS = "TCP: // *: 5556" ผูกช่องคลอด -m
# การตั้งค่า logstash:
ป้อนข้อมูล {{zeromq
& nbsp; type => 'ส่งอินพุต'
& nbsp; โหมด => 'ลูกค้า'
& nbsp; โครงสร้าง => 'pushpull'
& nbsp; ที่อยู่ => 'TCP: // shipperhost: 5556'
& nbsp;}}
เอาท์พุท {{stdout แก้ปัญหา => จริง}}
ตัวอย่างที่ 5: Zeromq เชื่อมต่อกับพอร์ตระยะไกล 5556 ในดัชนี:
ZEROMQ_ADDRESS = "TCP: // ดัชนี: 5556" ช่องคลอด -m เชื่อมต่อ
# การตั้งค่า logstash:
ป้อนข้อมูล {{zeromq
& nbsp; type => 'ส่งอินพุต'
& nbsp; โหมด => 'เซิร์ฟเวอร์'
& nbsp; โครงสร้าง => 'pushpull'
& nbsp; ที่อยู่ => 'TCP: // *: 5556'
& nbsp;}}
เอาท์พุท {{stdout แก้ปัญหา => จริง}}

มีอะไรใหม่ ในข่าวประชาสัมพันธ์นี้:

• ตรวจสอบให้แน่ใจไฟล์ใหม่จะถูกเพิ่มเข้าไป การกำหนดค่าขนส่ง ปิด # 96 ปิด # 101 [Jose Diaz อนซาเลซ]
• อนุญาตให้ตัวเลขลอยสำหรับ update_file_mapping_time [Jose Diaz อนซาเลซ]
• แก้ไขหล่อที่ไม่ถูกต้องของค่าบูลีน [Jose Diaz อนซาเลซ]
• ดำเนินการแปลงทั้งหมดใน config.py ปิด # 99 [Jose Diaz อนซาเลซ]

มีอะไรใหม่ ในรุ่น 16:

• ระบุขนาดคิวสูงสุด 100 จำกัด หน่วยความจำเวค [Jose Diaz อนซาเลซ]
• ใช้ multiprocessing สำหรับการจัดการขนาดคิวขนาดใหญ่ [Jose Diaz- อนซาเลซ]
• ก่อนหน้านี้มีปัญหาอยู่ที่ไฟล์ที่ได้รับการปรับปรุงดังกล่าวบ่อยบันทึกเคลือบเงาหรือเซิร์ฟเวอร์จะครอบงำการดำเนินงานที่ไร้เดียงสาของ file.readlines () ภายในช่องคลอด นี้จะทำให้ช่องคลอดช้าอ่านส่วนที่มีขนาดใหญ่และขนาดใหญ่ของไฟล์ก่อนที่จะประมวลผลใด ๆ ของเส้นในที่สุดทำให้บีเวอร์ที่จะใช้ในการประมวลผลตลอดสายล็อก.
• แพทช์นี้จะเพิ่มความสามารถในการใช้งานภายในคิวสำหรับสายล็อก เมื่อใดก็ตามที่ file.readlines () เรียกว่าเส้นที่มีอยู่ในคิวที่จะใช้ร่วมกันกับกระบวนการเด็ก กระบวนการเด็กสร้างการขนส่งของตัวเองทำให้เราสามารถที่อาจสร้างสระว่ายน้ำในกระบวนการในอนาคตที่จะจัดการกับขนาดคิวขนาดใหญ่.
• โปรดทราบว่าข้อ จำกัด ของ file.readlines () การอ่านในสายมากเกินไปยังคงมีอยู่และอาจจะยังคงทำให้เกิดปัญหาสำหรับล็อกไฟล์บางอย่าง.
• เพิ่ม redis_password เริ่มต้นการเรียน BeaverConfig [Jose Diaz อนซาเลซ]
• Fix หายไปขีดที่ก่อให้เกิดการขนส่งที่จะหยุดพัก [นอร์แมน Joyner]
• ใช้สนับสนุน redis รับรองความถูกต้อง [นอร์แมน Joyner]
• เพิ่มสคริปต์ init ช่องคลอดสำหรับโหมด daemonization [Jose Diaz อนซาเลซ]
• คนตัดไม้ใช้หลามเมื่อใช้ StdoutTransport [Jose Diaz อนซาเลซ]
• เพิ่มธงหาเรื่องสั้นสำหรับชื่อโฮสต์และรูปแบบ [Jose Diaz อนซาเลซ]
• เพิ่มความสามารถในการ daemonize ปิด # 79 [Jose Diaz อนซาเลซ]
• ผ่านรอบเช่นตัดไม้เพื่อการขนส่งทั้งหมด [Jose Diaz อนซาเลซ]
• Revert & quot; เพิ่มระดับกิจกรรมที่มีน้ำหนักเบา & quot; [Jose Diaz อนซาเลซ]
• หลังจากใคร่ครวญช่องคลอดมีขึ้นเพื่อเป็น & quot; น้ำหนักเบา & quot ;. ช่วยให้ออกจากชนหนักชายใหญ่.
• ซึ่งแปลงกระทำ 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
• เพิ่มระดับกิจกรรมที่มีน้ำหนักเบา [Jose Diaz อนซาเลซ]
• ความรับผิดชอบ แต่เพียงผู้เดียวของชั้นนี้จะมีการประมวลผลของเส้นให้เป็นเหตุการณ์ มันเป็นเป้าหมายในอนาคตจะทำหน้าที่เป็นผู้ดำเนินการที่มีน้ำหนักเบาของระบบกรองภายใน Logstash
• ลบความต้องการ argparse สำหรับหลาม 2.7 และสูงกว่า [Jose Diaz- อนซาเลซ]

มีอะไรใหม่ ในรุ่น 13:

• คงที่ตัวแปรสภาพแวดล้อมบางอย่าง [Jose Diaz อนซาเลซ]
• SSH สนับสนุนอุโมงค์ [Jose Diaz อนซาเลซ]
• รหัสนี้จะช่วยให้เราสามารถสร้างอุโมงค์ SSH ระหว่างสองเซิร์ฟเวอร์ที่แตกต่างกันเพื่อวัตถุประสงค์ในการส่งและรับข้อมูล.
• นี้จะเป็นประโยชน์ในบางกรณีที่คุณมิฉะนั้นจะต้องยกเว้นในไฟร์วอลล์หรือการติดตั้ง iptables ของคุณเช่นเมื่อทำงานในสองภูมิภาคท​​ี่แตกต่างกันบน AWS.
• อนุญาตให้เชื่อมต่อเริ่มต้นล่าช้า เป็นประโยชน์เมื่อการรอคอยสำหรับพร็อกซี่ SSH ในการเชื่อมต่อ [Jose Diaz อนซาเลซ]
• แก้ไขปัญหาที่เริ่มต้นการตั้งค่าบางอย่างที่มีความคุ้มค่าที่ไม่เหมาะสม [Jose Diaz อนซาเลซ]
• อนุญาตให้ระบุโฮสต์ผ่านธง ปิด # 70 [Jose Diaz อนซาเลซ]

ต้องการ

• หลาม