Google Bot หรือตัวโปรแกรม Spider ของ Google
มีหน้าที่ในการวิ่งหรือไต่ (Crawling) ไปตามลิงก์ที่ระโยงระยางจากเว็บหนึ่งไปสู่อีกเว็บ เพื่อเก็บข้อมูลตามเว็บเพจต่างๆ บนอินเทอร์เน็ต แล้วนำเข้ามาเก็บไว้ยังฐานข้อมูล Indexer ของ Google
จากนั้นก็จะต้องมีการเปรียบเทียบองค์ประกอบของโครงสร้าง และเนื้อหาหรือคีย์เวิร์ดในแต่ละเว็บเพจ เพื่อการจัดเรียงคำสำคัญๆ ในเว็บเพจนั้น เพื่อเตรียมพร้อมให้อัลกริที่มของ Google จัดอันดับเว็บเพื่อบริการการค้นหาให้กับคุณบนเว็บ Google Search อย่างรวดเร็ว และสอดคล้องกับการคันหาของผู้ใช้ Goggle มากที่สุดเท่าที่มันจะทำได้ และเนื่องจากเว็บต่าง ๆ มีทั้งอัปเดทบ่อย และไม่อัปเดทกันเลยจึงทำให้ Google Bot มี 2 ประเภท
Google DeepBot
GoogleBot เวอร์ซัน DeepBot นี้จะเหมือนผงซักฟอกสำหรับคราบฝังลึก พูดอีกอย่างให้ไม่งงก็คือ Deep Bot มีนิสัยชอบเดินไกลและเป็นนักค้นหา มันจะพยายามอย่างสุดความสามารถในการค้นหาเว็บเพจอันห่างไกลความเจริญ (เว็บที่ไม่เคยโปรโมต)
ไม่ว่าจะเป็นเว็บเก่า เว็บใหม่ ด้วยการใช้ลิงก์เป็นถนนเดินทางไปทั่วอินเทอร์เน็ต เมื่อมันพบแล้ว มันก็จะดาวนโหลดข้อมูลใหม่ๆ ที่มันเจอเก็บลงใน Index ของ Google รวมทั้งลิงก์ใหม่ๆ ก็เช่นกัน ซึ่งจะใช้เวลาประมาณหนึ่งเดือนสำหรับขบวนการทั้งหมด
พูดอีกอย่าง คือ DeepBot ใช้เวลาในการทำงานครั้งละเป็นเดือน (ลองนึกภาพจำนวนเว็บทั้งหมด และยังไม่พูดถึงเว็บใหม่ๆ ที่เกิดขึ้นมาทุกวันอีก) การทำงานของ DeepBot ส่วนใหญ่จะกินเวลาอยู่ที่ประมาณ 1 เดือน ส่วนมันจะเริ่มทำงานวันไหน อันนี้ก็แล้วแต่ว่าแต่ละครั้งมันจบงานวันไหน ไม่จำเป็นต้องเป็นวันรับเงินเดือนเสมอไปนะครับถึงจะทำงานได้ ดังนั้น บางทีคุณอาจเห็นอันดับ
เว็บเพจต่างๆ เปลี่ยนไปมาไม่คงที่ในแต่ละเดือน (Google Dance) ส่วนหนึ่งก็เพราะการทำงานของ Deep Bot ที่พบอะไรใหม่ๆ บนโลกออนไลน์ที่ต้องอัปเดทตลอดนั่นเอง
Google FreshBot
เมื่อ Google มีข้อมูลเว็บเพจและลิงก์ทั้งเก่าและใหม่มากมายจากการใช้ DeepBot ทำงานให้แล้ว ทีนี้ก็จะเหลือแต่ว่า จะทำยังไงให้ Indexer นั้น มีข้อมูลที่สดใหม่ไม่ล้าสมัยอยู่ตลอด ลองนึกภาพดูง่ายๆเลยว่า ถ้าเมื่อคืนเทนนิสวิมเบอร์ดันนัดชิง โรเจอร์ เฟดเดอเรอร์ พลาดท่า พ่ายแพ้ให้กับ นาดาล ข่าวใหม่และข่าวใหญ่อย่างนี้ ถ้า Google ไม่สามารถนำเอามาอัปเดทได้ เสียหน้าแย่เลย
ดังนั้นมันเป็นหน้าที่ของ Google ที่จะต้องมีตัวซอฟท์แวร์ที่คอยวิ่งหาข้อมูลใหม่ๆ อัปเดทเข้ามาให้ผู้ใช้ Search ได้ค้นเจอกันได้แต่จะหาได้ที่ไหนล่ะ ก็แน่นอนว่า Frash Bot ก็ต้องมุ่งไปที่เว็บที่มีการอัปเดทบ่อยครั้งทุกวัน ที่มันสามารถตรวจจับได้ ว่าเว็บใครฝุ่น จับใยแมงมุมเกาะ หรือเว็บใครมีการเช็ดปัดเงาทุกวัน และมันเกี่ยวอะไรกับเราผู้ทำเว็บล่ะ เดี๋ยวผมจะบอก
เจ้า Fresh Bot ที่ ขยันและอินเทรนด์ตัวนี้ จะชอบแวะเวียนไปตามเว็บไซต์ที่มีการอัปเดตเนื้อหา บ่อย ๆ ยิ่งบ่อยเท่าไหร่มันก็จะจำได้
และยิ่งชอบแวะไปหาบ่อยเท่านั้น เพื่อเก็บเนื้อหาลำสุดจากเว็บไซต์เหล่านั้น จะได้มาอัปเดทฐานช้อมูลของมัน (Indexer) เพื่อไม่ให้ตกข่าวใหม่ๆ สิ่งนี้บอกได้ว่า
ถ้ายิ่งเว็บคุณมีการอัปเดทและใส่เนื้อหาใหม่ ๆ เข้าไปบ่อย ๆ ยิ่งบ่อยเท่าไหร่ เนื้อหาที่คุณใส่เข้าไปในเว็บคุณก็จะยิ่งไปโผล่อยู่ที่ Google ได้เร็วเท่านั้น
ซึ่งก็จะส่งผลดีกับคุณทันที เพราะใครๆ ก็ที่เข้ามาใน Google เพื่อหาข้อมูลที่คุณมีในเว็บก็จะพบกับเว็บคุณได้ง่ายขึ้น เพราะทันทีที่คุณใส่เนื้อหาใหม่เข้าไปบนเว็บคุณ Google ก็จะเอาไปใสใน Index อย่างรวดเร็วทันใจ ทำให้คุณได้ผู้ชมมากขึ้น เพียงอัปเดพเนื้อหาเป็นประจำในเนื้อหาที่เกี่ยวกับสินค้าที่คุณขาย คุณก็จะเป็นจ้าวยุทธจักรในตลาดที่คุณทำได้ไม่ยากเลย