XML Sitemap และ robots.txt คือไฟล์ 2 ไฟล์ที่ทำงานคู่กันเพื่อบอก Crawler ของ Google ว่าเว็บมีหน้าอะไรบ้าง และส่วนไหนเข้าไปเก็บข้อมูลได้ XML Sitemap คือรายการ URL ที่เจ้าของเว็บอยากให้ Google รู้จัก ส่วน robots.txt คือไฟล์กฎที่บอกว่า Crawler เข้า URL ไหนได้หรือไม่ได้ ถ้าตั้งถูก Google จะใช้เวลาเก็บข้อมูลกับหน้าที่สำคัญ แต่ถ้าตั้งผิดเพียงบรรทัดเดียว หน้าที่ทำเงินอาจหายจากผลการค้นหาได้ บทความนี้อธิบายตามลำดับ ได้แก่ XML Sitemap คืออะไร, robots.txt คืออะไร, Sitemap กับ robots.txt ต่างกันอย่างไร, เว็บแบบไหนต้องมี Sitemap, วิธีตั้งค่า XML Sitemap ให้ถูก, วิธีส่ง Sitemap ให้ Google, วิธีเขียน robots.txt ให้ถูก, ข้อผิดพลาดที่พบบ่อย, robots.txt กับ AI Crawler และตัวอย่างการตั้งค่าบน WordPress
XML Sitemap คืออะไร
XML Sitemap คือไฟล์ที่รวบรวม URL ของหน้าที่ต้องการให้ Google รู้จัก พร้อมข้อมูลประกอบ เช่น วันที่แก้ไขล่าสุดของแต่ละหน้า ไฟล์นี้ช่วยให้ Google ค้นพบหน้าใหม่และหน้าที่อยู่ลึกจากหน้าแรก โดยไม่ต้องรอให้ Crawler ไล่ตามลิงก์จนเจอ การดูแล Sitemap จึงเป็นงานพื้นฐานข้อแรก ๆ ของTechnical SEO ที่ทุกเว็บควรตรวจ
สิ่งที่ต้องเข้าใจตั้งแต่ต้นคือ Sitemap เป็นตัวช่วยค้นพบ ไม่ใช่คำสั่ง คู่มือ Sitemap ของ Google Search Central ระบุว่า Sitemap ช่วยให้เครื่องมือค้นหาค้นพบ URL ในเว็บไซต์ แต่ไม่ได้รับประกันว่าทุกรายการในไฟล์จะถูก Crawl และจัดทำดัชนี ไฟล์ Sitemap ที่เล็กที่สุดมีหน้าตาดังนี้
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.example.com/seo-article/sitemap-robots-txt/</loc>
<lastmod>2026-11-08</lastmod>
</url>
</urlset>แต่ละหน้าอยู่ในแท็ก url หนึ่งชุด โดย loc คือที่อยู่ของหน้า และ lastmod คือวันที่เนื้อหาเปลี่ยนครั้งล่าสุด เว็บที่มีรูป วิดีโอ หรือข่าวจำนวนมากใช้ Sitemap แบบส่วนขยายเพื่อบอกข้อมูลเพิ่มได้
robots.txt คืออะไร
robots.txt คือไฟล์ข้อความธรรมดาที่วางไว้ที่รากของโดเมน เช่น https://www.example.com/robots.txt เพื่อบอก Crawler ว่า URL ไหนในเว็บเข้าไปเก็บข้อมูลได้ ตามข้อมูลเบื้องต้นเกี่ยวกับ robots.txt ของ Google ไฟล์นี้ใช้เป็นหลักเพื่อไม่ให้ Crawler ส่งคำขอมากเกินจนเซิร์ฟเวอร์รับไม่ไหว และไม่ได้มีไว้เพื่อกันหน้าเว็บออกจาก Google
กฎใน robots.txt มีผลเฉพาะกับโฮสต์ โปรโตคอล และพอร์ตที่ไฟล์นั้นวางอยู่ ตามที่ข้อกำหนด robots.txt ของ Google อธิบายไว้ ดังนั้น www.example.com, shop.example.com และ blog.example.com ต้องมีไฟล์ของตัวเองแยกกัน และแต่ละโฮสต์มี robots.txt ได้เพียงไฟล์เดียว
Sitemap กับ robots.txt ต่างกันอย่างไร
Sitemap กับ robots.txt ต่างกันที่หน้าที่ Sitemap บอกว่า “มีหน้าไหนบ้างที่อยากให้รู้จัก” ส่วน robots.txt บอกว่า “ส่วนไหนห้ามเข้า” ทั้งสองไฟล์ไม่ได้ทำงานแทนกัน และไม่มีไฟล์ไหนใช้กันหน้าออกจากผลการค้นหาได้ ตารางนี้สรุปความต่างที่ใช้บ่อย
| หัวข้อ | XML Sitemap | robots.txt |
|---|---|---|
| หน้าที่ | บอกรายการ URL ที่อยากให้ Google รู้จัก | บอกว่า Crawler เข้า URL ไหนได้หรือไม่ได้ |
| ตำแหน่งไฟล์ | วางที่ไหนก็ได้ในเว็บ แล้วแจ้ง Google | ต้องอยู่ที่รากของโฮสต์ เช่น /robots.txt |
| รูปแบบ | XML (หรือ RSS, Atom, ไฟล์ข้อความ) | ไฟล์ข้อความธรรมดา |
| ขนาดสูงสุด | 50,000 URL หรือ 50 MB ต่อไฟล์ (ไม่บีบอัด) | 500 KiB ส่วนที่เกินจะถูกละเลย |
| ถ้าไม่มีไฟล์ | Google ยังหาหน้าจากลิงก์ได้ แต่ช้ากว่า | Google ถือว่าเข้าได้ทุก URL |
| ใช้กันหน้าออกจาก Google ได้ไหม | ไม่ได้ | ไม่ได้ ต้องใช้ noindex |
ตัวเลขในตารางมาจากคู่มือ Sitemap และข้อกำหนด robots.txt ของ Google ซึ่งระบุด้วยว่าถ้า robots.txt ตอบ 4xx (ยกเว้น 429) Google จะถือว่าไม่มีข้อจำกัดในการ Crawl
เว็บแบบไหนจำเป็นต้องมี Sitemap
เว็บที่จำเป็นต้องมี Sitemap คือเว็บขนาดใหญ่ เว็บใหม่ที่ยังมีลิงก์จากเว็บอื่นน้อย และเว็บที่มีวิดีโอ รูปภาพ หรือข่าวจำนวนมาก ส่วนเว็บเล็กอาจไม่ต้องมีก็ได้ คู่มือ Sitemap ของ Google ให้เกณฑ์ไว้ดังนี้
- เว็บขนาดเล็ก Google นิยามว่ามีหน้าที่ต้องการให้ขึ้นในผลการค้นหาไม่เกินประมาณ 500 หน้า อาจไม่ต้องมี Sitemap
- เว็บที่ลิงก์ภายในครบ ทุกหน้าสำคัญเข้าถึงได้จากหน้าแรกด้วยการคลิกตามลิงก์
- เว็บใหญ่ มีหน้าจำนวนมาก Crawler อาจมองข้ามหน้าใหม่หรือหน้าที่เพิ่งแก้
- เว็บใหม่ มีลิงก์จากเว็บอื่นน้อย Google จึงหาหน้าเจอยากกว่าปกติ
- เว็บที่มีสื่อหรือข่าวมาก Sitemap ช่วยส่งข้อมูลเพิ่มเติมของรูป วิดีโอ และข่าว
Rankfinder แนะนำให้ทุกเว็บมี Sitemap แม้เป็นเว็บเล็ก เพราะระบบจัดการเว็บส่วนใหญ่สร้างให้อัตโนมัติ และรายงาน Sitemap ใน Search Console ช่วยให้เห็นหน้าที่ยังไม่ถูกเก็บเข้าดัชนี
วิธีตั้งค่า XML Sitemap ให้ถูก
วิธีตั้งค่า XML Sitemap ให้ถูกคือใส่เฉพาะ URL หลักที่ต้องการให้ติดอันดับ ใช้ URL แบบเต็ม และให้วันที่ lastmod ตรงกับความจริง คู่มือสร้างและส่ง Sitemap ของ Google กำหนดขีดจำกัดไว้ที่ 50 MB (ไม่บีบอัด) หรือ 50,000 URL ต่อไฟล์ และระบุชัดว่า Google ไม่สนใจค่า priority และ changefreq
- ใส่เฉพาะ URL Canonical ไม่ใส่หน้าที่ Redirect, หน้า 404 หรือหน้าที่ติด noindex เพราะเป็นสัญญาณที่ขัดกันเอง
- ใช้ URL แบบเต็ม ขึ้นต้นด้วย https:// และใช้โดเมนเดียวกับเว็บจริง ไม่ปน http กับ https หรือมี www กับไม่มี www
- แบ่งไฟล์เมื่อเกินขนาด เกิน 50,000 URL หรือ 50 MB ให้แยกเป็นหลายไฟล์ แล้วรวมด้วยไฟล์ Sitemap Index
- lastmod ต้องตรงความจริง Google ใช้ค่านี้เมื่อแม่นยำอย่างสม่ำเสมอ อย่าอัปเดตวันที่ทุกวันโดยที่เนื้อหาไม่ได้เปลี่ยน
- ไม่ต้องเสียเวลากับ priority และ changefreq Google ไม่ใช้ 2 ค่านี้
- เข้ารหัสเป็น UTF-8 โดยเฉพาะเว็บไทยที่มี URL หรือชื่อรูปภาษาไทย
วิธีส่ง Sitemap ให้ Google
วิธีส่ง Sitemap ให้ Google ที่ใช้บ่อยที่สุดคือส่งผ่านรายงาน Sitemap ใน Google Search Console และเพิ่มบรรทัด Sitemap ไว้ใน robots.txt ทั้ง 2 วิธีใช้คู่กันได้ คู่มือของ Google ระบุวิธีส่งไว้ 3 แบบ
- ส่งใน Search Console เปิดรายงาน Sitemap ใส่ URL ของไฟล์ แล้วกดส่ง จากนั้นรายงานจะบอกสถานะการอ่านไฟล์และจำนวน URL ที่พบ
- ใส่บรรทัด Sitemap ใน robots.txt เช่น Sitemap: https://www.example.com/sitemap_index.xml วางไว้ตรงไหนของไฟล์ก็ได้ และต้องเป็น URL แบบเต็ม
- ใช้ Search Console API เหมาะกับเว็บที่มีหลายโดเมนหรือทีมที่ต้องการส่งอัตโนมัติ
วิธีเก่าอย่างการ ping ที่อยู่ของ Sitemap ไปที่ Google ใช้ไม่ได้แล้ว Google ประกาศเลิกรองรับ endpoint นี้ในบล็อก Google Search Central เมื่อเดือนมิถุนายน 2023 และย้ำในคู่มือว่าการส่ง Sitemap เป็นเพียงคำแนะนำ ไม่ได้บังคับให้ Google Crawl ทันที ถ้าหน้าใหม่ยังไม่ถูกเก็บ ให้ตรวจลิงก์ภายในที่ชี้ไปหาหน้านั้นควบคู่กันด้วย
วิธีเขียน robots.txt ให้ถูก
วิธีเขียน robots.txt ให้ถูกคือใช้เฉพาะคำสั่งที่ Google รองรับ บล็อกเฉพาะส่วนที่ไม่ต้องการให้ Crawler เสียเวลา และใส่ที่อยู่ Sitemap ไว้ในไฟล์ ข้อกำหนดของ Google รองรับเพียง 4 ฟิลด์ คือ user-agent, allow, disallow และ sitemap ส่วนฟิลด์อื่นอย่าง crawl-delay Google ไม่รองรับ ตัวอย่างไฟล์ของเว็บ WordPress ทั่วไปมีหน้าตาดังนี้
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap_index.xmlบรรทัด User-agent: * หมายถึงกฎนี้ใช้กับ Crawler ทุกตัว Disallow บอกเส้นทางที่ห้ามเข้า และ Allow เปิดข้อยกเว้นในเส้นทางที่ถูกห้าม เมื่อกฎขัดกัน Google เลือกกฎที่เส้นทางยาวและเจาะจงที่สุด ถ้ายังเท่ากันจะเลือกกฎที่จำกัดน้อยที่สุด ตารางนี้รวมรูปแบบที่ใช้บ่อย
| กฎ | ความหมาย |
|---|---|
| Disallow: / | ห้าม Crawl ทั้งเว็บ ใช้กับเว็บทดสอบเท่านั้น |
| Disallow: (เว้นว่าง) | ไม่ห้ามอะไรเลย |
| Disallow: /cart/ | ห้ามทุก URL ที่ขึ้นต้นด้วย /cart/ |
| Disallow: /*?s= | ห้าม URL ผลค้นหาภายในเว็บ (* แทนตัวอักษรใดก็ได้) |
| Disallow: /*.pdf$ | ห้าม URL ที่ลงท้ายด้วย .pdf ($ คือท้าย URL) |
เส้นทางในกฎแยกตัวพิมพ์เล็กและใหญ่ /Cart/ กับ /cart/ จึงไม่ใช่เส้นทางเดียวกัน ไฟล์ต้องมีขนาดไม่เกิน 500 KiB และ Google มักเก็บสำเนาไฟล์ไว้ได้นานถึง 24 ชั่วโมง การแก้ robots.txt จึงอาจยังไม่มีผลทันที ส่วนผู้ที่ยังไม่แน่ใจว่า Crawler เดินเก็บหน้าเว็บอย่างไร ควรอ่านขั้นตอนการ Crawl ของ Google ก่อนเริ่มเขียนกฎบล็อกเส้นทางใด ๆ
ข้อผิดพลาดที่พบบ่อยกับ Sitemap และ robots.txt
ข้อผิดพลาดที่พบบ่อยที่สุดคือการใช้ robots.txt เพื่อซ่อนหน้าออกจาก Google ซึ่งใช้ไม่ได้ผล Google อธิบายว่าถ้าบล็อกหน้าเว็บด้วย robots.txt แล้วมีเว็บอื่นลิงก์มา URL นั้นยังขึ้นในผลการค้นหาได้ เพียงแต่ไม่มีคำอธิบาย วิธีที่ถูกคือใช้ noindex และคู่มือการบล็อกการจัดทำดัชนีย้ำว่าหน้านั้นต้องไม่ถูกบล็อกใน robots.txt เพราะถ้า Crawler เข้าไม่ได้ ก็จะไม่เห็นคำสั่ง noindex
ข้อผิดพลาดอื่นที่ควรตรวจเป็นประจำมีดังนี้
- ลืมลบ Disallow: / หลังเปิดเว็บจริง เว็บที่ย้ายมาจากเว็บทดสอบมักติดกฎห้าม Crawl ทั้งเว็บมาด้วย
- บล็อกไฟล์ CSS และ JavaScript Google ต้องโหลดไฟล์เหล่านี้เพื่อแสดงผลหน้าเว็บให้เห็นเหมือนผู้ใช้
- Sitemap มี URL ที่ใช้ไม่ได้ เช่น หน้าที่ Redirect, หน้า 404 หรือหน้าที่ติด noindex
- robots.txt ตอบกลับเป็น 5xx ข้อกำหนดของ Google ระบุว่าใน 12 ชั่วโมงแรก Google จะหยุด Crawl เว็บและพยายามโหลดไฟล์ใหม่
- กฎกว้างเกินไป เช่น Disallow: /p ที่ตั้งใจบล็อกหน้าเดียว แต่ไปตรงกับทุก URL ที่ขึ้นต้นด้วย /p
- Sitemap ใช้โดเมนไม่ตรงกับเว็บจริง เช่น ยังเป็น http หรือโดเมนเก่าหลังย้ายเว็บ
หลังแก้ไฟล์ทุกครั้ง ให้เปิดรายงาน robots.txt และรายงาน Sitemap ใน Search Console เพื่อดูว่า Google โหลดไฟล์ใหม่ได้แล้ว ถ้าหน้าสำคัญหายไปจากผลการค้นหาหลังแก้ไฟล์ ให้ไล่ตรวจตามวิธีแก้เมื่อหน้าเว็บไม่ขึ้น Google ซึ่งเริ่มจากการดูสถานะของ URL นั้นในเครื่องมือตรวจสอบ URL
robots.txt กับ AI Crawler และ llms.txt
robots.txt ยังเป็นไฟล์หลักที่ใช้ควบคุม Crawler ของบริษัท AI เพราะแต่ละบริษัทประกาศชื่อ user-agent ของตัวเอง และแยกตามจุดประสงค์การใช้งาน ตัวอย่างที่เจ้าของเว็บควรรู้มีดังนี้
- Google-Extended ใช้กำหนดว่าเนื้อหาที่ Google เก็บไปจะใช้ฝึกโมเดล Gemini และใช้อ้างอิงคำตอบได้หรือไม่ ตามรายการ Crawler ของ Google การบล็อก Google-Extended ไม่กระทบการแสดงผลและการจัดอันดับใน Google Search
- GPTBot และ OAI-SearchBot ตามหน้าอธิบาย Crawler ของ OpenAI GPTBot ใช้เก็บข้อมูลเพื่อพัฒนาโมเดล ส่วน OAI-SearchBot ใช้แสดงเว็บในฟีเจอร์ค้นหาของ ChatGPT ทั้งสองตั้งค่าแยกกันได้
เว็บธุรกิจที่ต้องการให้ AI ค้นเจอและอ้างอิง ไม่ควรบล็อก Crawler ฝั่งค้นหาอย่าง OAI-SearchBot ส่วนการบล็อก Crawler ที่ใช้ฝึกโมเดลเป็นการตัดสินใจทางธุรกิจที่แต่ละเว็บเลือกได้ ไฟล์ llms.txt ที่หลายเว็บเริ่มใช้เป็นคนละเรื่องกับ robots.txt เพราะไม่ได้กำหนดสิทธิ์การเข้าถึง แต่เป็นไฟล์สรุปเนื้อหาของเว็บให้ระบบ AI อ่าน
ตัวอย่างการตั้งค่า Sitemap และ robots.txt บน WordPress
เว็บ WordPress มี Sitemap ในตัวตั้งแต่เวอร์ชัน 5.5 ที่ /wp-sitemap.xml ตามที่ทีมพัฒนา WordPress ประกาศไว้ แต่เว็บส่วนใหญ่ใช้ Sitemap จากปลั๊กอิน SEO แทน เพราะเลือกได้ละเอียดกว่าว่าจะใส่หรือไม่ใส่หน้าประเภทไหน เว็บ rankfinder.in.th ใช้ Rank Math ซึ่งสร้างไฟล์ sitemap_index.xml และแยกเป็น post-sitemap.xml สำหรับบทความ กับ page-sitemap.xml สำหรับหน้าเว็บ ส่วน robots.txt ของเว็บมีเพียง 4 บรรทัด คือบล็อก /wp-admin/ เปิด admin-ajax.php และบอกที่อยู่ของ sitemap_index.xml
- เปิด https://ชื่อโดเมน/robots.txt ในหน้าต่างไม่ระบุตัวตน ตรวจว่าไม่มี Disallow: / และมีบรรทัด Sitemap
- เปิดไฟล์ Sitemap ตรวจว่ามีเฉพาะประเภทหน้าที่ต้องการ เช่น ไม่มีหน้าแท็ก หน้าผู้เขียน หรือหน้าไฟล์แนบ
- ส่ง sitemap_index.xml ในรายงาน Sitemap ของ Search Console เพียงไฟล์เดียว ไฟล์ย่อยจะถูกอ่านตามมาเอง
- ตรวจซ้ำทุกครั้งที่เปลี่ยนปลั๊กอิน SEO ย้ายโดเมน หรือเปลี่ยนโครงสร้าง URL
การตั้งค่า 2 ไฟล์นี้ใช้เวลาไม่นาน แต่การอ่านรายงานใน Search Console ให้ออกว่าหน้าไหนมีปัญหาเพราะอะไรต้องอาศัยการฝึก ผู้ที่ต้องการลงมือตรวจเว็บของตัวเองเป็นขั้นตอน สามารถเรียน SEO กับผู้เชี่ยวชาญที่สอนจากเว็บจริงได้
ประเด็นสำคัญของ XML Sitemap และ robots.txt
- XML Sitemap คือรายการ URL ที่อยากให้ Google รู้จัก ช่วยให้ค้นพบหน้า แต่ไม่รับประกันการจัดทำดัชนี
- robots.txt คือไฟล์กฎที่รากโดเมน บอกว่า Crawler เข้า URL ไหนได้ และมีผลแยกตามโฮสต์
- Sitemap บอกว่ามีหน้าไหนบ้าง robots.txt บอกว่าส่วนไหนห้ามเข้า ไม่มีไฟล์ไหนใช้กันหน้าออกจาก Google ได้
- เว็บใหญ่ เว็บใหม่ และเว็บที่มีสื่อหรือข่าวมากควรมี Sitemap ส่วนเว็บเล็กมีไว้ก็ไม่เสียอะไร
- Sitemap ใส่เฉพาะ URL Canonical ไม่เกิน 50,000 URL หรือ 50 MB ต่อไฟล์ และให้ lastmod ตรงความจริง
- ส่ง Sitemap ผ่าน Search Console และบรรทัด Sitemap ใน robots.txt เพราะการ ping เลิกใช้แล้ว
- robots.txt ใช้ได้ 4 ฟิลด์ Google ไม่รองรับ crawl-delay และอาจใช้สำเนาเดิมนานถึง 24 ชั่วโมง
- อยากซ่อนหน้าให้ใช้ noindex และห้ามบล็อกหน้านั้นใน robots.txt
- Crawler ของ AI ตั้งค่าแยกตาม user-agent ได้ การบล็อก Google-Extended ไม่กระทบ Google Search
- บน WordPress ให้ส่ง Sitemap Index ไฟล์เดียว และตรวจทั้ง 2 ไฟล์ซ้ำทุกครั้งที่เปลี่ยนปลั๊กอินหรือโดเมน
อ่านต่อในหัวข้อเดียวกัน
- วิธีใช้ Google Search Console ฉบับมือใหม่
- Core Web Vitals คืออะไร? LCP, INP, CLS และวิธีแก้
- เว็บ WordPress ช้า แก้อย่างไร (เคสจริง: TTFB จาก 0.8 วิ เหลือ 0.07 วิ)
- Schema Markup คืออะไร? คู่มือใส่ Structured Data ให้เว็บไทย 2026
- ย้ายเว็บ/เปลี่ยนโดเมนอย่างไรไม่ให้อันดับหาย (SEO Migration)
- SEO Audit คืออะไร? ตรวจเว็บอะไรบ้าง พร้อม Checklist
คำถามที่พบบ่อยเกี่ยวกับ Sitemap และ robots.txt
เว็บต้องมีทั้ง Sitemap และ robots.txt ไหม
เว็บไม่จำเป็นต้องมีทั้งสองไฟล์ตามกฎของ Google แต่ควรมี ถ้าไม่มี robots.txt Google จะถือว่าเข้าได้ทุก URL และถ้าไม่มี Sitemap Google ยังหาหน้าจากลิงก์ได้ การมีทั้งสองไฟล์ช่วยให้ควบคุมการ Crawl และติดตามสถานะใน Search Console ได้ง่ายกว่า
แก้ robots.txt แล้ว Google เห็นเมื่อไร
Google มักเห็นไฟล์ robots.txt ที่แก้แล้วภายใน 24 ชั่วโมง เพราะโดยทั่วไปเก็บสำเนาไฟล์ไว้ไม่เกินช่วงนั้น ถ้าแก้ข้อผิดพลาดร้ายแรง เช่น เผลอบล็อกทั้งเว็บ ให้เปิดรายงาน robots.txt ใน Search Console แล้วขอให้ Google ตรวจไฟล์ใหม่
Sitemap ต้องใส่ทุกหน้าในเว็บไหม
Sitemap ไม่ต้องใส่ทุกหน้า ให้ใส่เฉพาะหน้าที่ต้องการให้ขึ้นในผลการค้นหาและเป็น URL Canonical หน้าที่ซ้ำกัน หน้าที่ Redirect หน้าผลค้นหาภายในเว็บ และหน้าที่ติด noindex ไม่ควรอยู่ใน Sitemap
บล็อก GPTBot ใน robots.txt แล้วเว็บจะหายจาก Google ไหม
การบล็อก GPTBot ไม่ทำให้เว็บหายจาก Google เพราะกฎใน robots.txt มีผลเฉพาะ user-agent ที่ระบุ Googlebot ยังเข้าเว็บได้ตามปกติ สิ่งที่ต้องระวังคือการเขียนกฎไว้ใต้ User-agent: * ซึ่งมีผลกับ Crawler ทุกตัวรวมถึง Googlebot
