robots.js - ซอฟแวร์ฟรีดาวน์โหลด เพื่อ Web ใน โมดูล

robots.js 0.9.4

สามารถใช้ในการดึงข้อมูลจากไฟล์ robots.txt และอาหารมันเพื่อการใช้งานอื่น ๆ หรือเครื่องมือทางสถิติจะดึง URL เป้าหมายเหตุผลในการเข้าถึงข้อมูลและสถานะ มีอะไรใหม่ ในข่าวประชาสัมพันธ์ฉบับนี้. จับที่ http (s ) ข้อผิดพลาดการร้องขอ. มีอะไรใหม่ ในรุ่น...