אחת הבעיות שאני רואה הרבה בזמן האחרון ב-Google Search Console היא דפים שגוגל סרקה, אבל הם פשוט לא נכנסים לאינדקס.
למה זה קורה? איך זה קורה? ומה אפשר לעשות כדי לטפל בזה?
במאמר הזה אני אסביר לכם על הבעיה הזאת, וגם על משהו שאני רואה יותר ויותר היום תוכנות AI ואוטומציות שמאפשרות להעלות כמויות גדולות של תוכן ודפים בצורה אוטומטית.
לפעמים התוכן טוב, לפעמים הוא לא איכותי, ולפעמים נוצרים באתר דפים שבכלל לא היו צריכים להיות שם.
וכשפתאום רואים ב-Search Console מאות או אפילו אלפי דפים תחת "נסרק כרגע לא נוסף לאינדקס", מבחינתי צריך להתחיל לבדוק מה קורה באתר.
מה זה "נסרק כרגע לא נוסף לאינדקס"?
זה מאוד פשוט.
גוגל יכולה להגיע לדף מסוים באתר, לסרוק אותו, ובסופו של דבר להחליט שכרגע היא לא מכניסה אותו לאינדקס.
זה יכול להיות עמוד עם טקסט, גלריה, עמוד תמונות או כל סוג אחר של URL שנוצר באתר.
חשוב להבין שעצם זה שגוגל סרקה עמוד לא אומר שהיא חייבת להכניס אותו לאינדקס.
יש הבדל בין סריקה לבין אינדוקס.
במצב של "נסרק כרגע – לא נוסף לאינדקס", גוגל כבר מכירה את העמוד וסרקה אותו, אבל כרגע הוא לא נמצא באינדקס שלה.
זה גם לא אומר שכל פעם שאתם רואים את הסטטוס הזה יש לכם בעיה חמורה באתר.
אם מדובר ב-10 או 20 עמודים, אני בדרך כלל לא נלחץ. אבל אם אני פותח Search Console ורואה 1,000, 2,000 או 3,000 עמודים כאלה, זה כבר משהו שאני רוצה לבדוק לעומק.
למה גוגל סורקת דף אבל לא מכניסה אותו לאינדקס?
זה יכול לקרות מאלף ואחד דברים.
זה יכול להיות תוכן לא איכותי, תוכן אוטומטי, עמוד שאין בו כמעט שום דבר, תוכן שלא קשור מספיק לאתר או עמוד שפשוט אין לו מטרה ברורה.
יכול להיות גם שהמערכת יצרה עמודים באופן אוטומטי בלי שאף אחד בכלל תכנן שהם יהיו חלק מאסטרטגיית ה-SEO.
מה שאני רואה הרבה היום זו סוג של "מחלה" שנוצרה בעקבות כל האוטומציות החדשות.
אפשר היום לחבר מערכת לאתר ולייצר מאות ואלפי דפים בצורה אוטומטית.
אבל זה שאפשר לעשות את זה לא אומר שצריך לעשות את זה.
| סיבה אפשרית | מה יכול לקרות? |
|---|---|
| תוכן אוטומטי | המערכת יכולה לייצר כמויות גדולות של עמודים בלי מספיק בקרה ואסטרטגיה. |
| תוכן לא איכותי | העמוד קיים וגוגל יכולה לסרוק אותו, אבל התוכן לא בהכרח נותן מספיק ערך. |
| דפים כמעט ריקים | יכולים להיווצר URLs שיש בהם מעט מאוד תוכן או אפילו בעיקר HTML ואלמנטים טכניים. |
| עמודים לא רלוונטיים | דפים יכולים להיווצר בלי קשר אמיתי לנושא האתר ובלי מטרה מבחינת SEO. |
| בעיה טכנית | תוסף, מערכת או אוטומציה יכולים ליצור כמויות גדולות של URLs שלא התכוונו ליצור. |
| מבנה עמוד לא נכון | לפעמים התוכן עצמו רלוונטי, אבל העמוד דורש שיפור בתוכן, בכותרות, בקישורים ובמבנה שלו. |
תוכן AI יכול לגרום לבעיה?
אני רואה הרבה מקרים שבהם אתרים משתמשים בכלים שמייצרים תוכן בצורה אוטומטית.
חשוב לי להגיד משהו: עצם זה שהשתמשתם ב-AI לא אומר אוטומטית שהתוכן לא טוב או שגוגל לא תכניס אותו לאינדקס.
הבעיה מבחינתי מתחילה כשמשתמשים ב-AI בצורה אגרסיבית ולא נכונה.
אם מערכת מייצרת מאות או אלפי עמודים בלי בקרה, בלי אסטרטגיה, בלי לבדוק אם התוכן נכון ובלי להבין אם העמוד בכלל צריך להתקיים – שם אנחנו יכולים להתחיל לראות בעיות.
אני רואה את זה בפועל.
נכנסים ל-Search Console ורואים אלף דפים שנסרקו אבל לא נכללו באינדקס.
מתחילים לבדוק ומגלים שחלק מהעמודים נוצרו אוטומטית, חלק כמעט ריקים, חלק לא קשורים לאתר וחלק מכילים תוכן שפשוט לא נכתב בצורה מספיק טובה.
לפעמים הבעיה בכלל טכנית
הרבה פעמים המצב הזה קורה בגלל בעיה טכנית.
המערכת יוצרת באופן אוטומטי המון דפים בלי כוונת חיפוש, בלי אסטרטגיה ובלי סיבה אמיתית שהם יהיו באתר.
במקרה כזה, לא צריך להתחיל לשפר אלף עמודים אחד-אחד.
צריך להבין מה יצר אותם.
יכול להיות תוסף, מערכת אוטומציה, קוד מסוים או משהו אחר באתר שממשיך לייצר URLs.
קודם כל צריך לעצור את המקור של הבעיה.
אחר כך אפשר להתחיל להבין מה עושים עם כל הדפים שכבר נוצרו.
מה אני עושה כשאני רואה אלפי עמודים שלא נכנסו לאינדקס?
כשאני רואה מצב שיש אלף עמודים שנסרקו אבל לא נכללים באינדקס, אני קודם כל רוצה להבין מאיפה הם הגיעו.
יכול להיות שעלו לאתר דפים שהם כמעט רק HTML בלי תוכן אמיתי.
יכול להיות שהטקסט נבנה ברובו באמצעות AI.
יכול להיות שמדובר בטקסט עמוס בקוד, עמודים שלא קשורים לאתר או פשוט דפים שנוצרו בצורה אוטומטית בלי שום אסטרטגיה.
במצב כזה אני לא מנסה בכוח לגרום לגוגל לאנדקס הכול.
להפך.
הרבה פעמים אנחנו פשוט מסירים דפים.
אין מה לעשות.
אם יש באתר אלפי עמודים שלא נותנים שום ערך ולא היו צריכים להיווצר מלכתחילה, מבחינתי צריך לבדוק האם בכלל יש סיבה להשאיר אותם.
לא כל דף שלא נכנס לאינדקס צריך למחוק
מצד שני, יש גם מקרים שבהם התוכן דווקא טוב.
יכול להיות שנכתב מאמר בנושא שבאמת חשוב לקידום של האתר, אבל הוא פשוט לא בנוי מספיק טוב.
במצב כזה אני לא ישר מוחק אותו.
אני בודק את העמוד.
אני בודק את הכותרות, הקישורים הפנימיים, הקישורים החיצוניים, התוכן עצמו, המבנה של הטקסט והאם העמוד באמת מתאים למה שאנחנו רוצים לקדם.
לפעמים צריך להגדיל את הטקסט.
לפעמים צריך לשנות אותו.
לפעמים צריך לבנות את הכותרות בצורה טובה יותר.
לפעמים צריך לחבר את העמוד טוב יותר לשאר האתר באמצעות קישורים פנימיים.
זה תלוי במקרה.
| סוג העמוד | מה אני בודק? | מה אפשר לעשות? |
|---|---|---|
| דף אוטומטי ולא רלוונטי | האם בכלל הייתה סיבה ליצור אותו? | במקרים מתאימים להסיר אותו ולטפל במערכת שיצרה אותו. |
| דף כמעט ריק | האם יש בו ערך אמיתי והאם הוא נחוץ? | לשפר משמעותית או להסיר, בהתאם למטרה שלו. |
| מאמר חשוב לקידום | תוכן, כותרות, מבנה, קישורים ורלוונטיות. | לשפר ולבנות את העמוד בצורה נכונה יותר. |
| תוכן AI לא איכותי | האם התוכן מדויק, רלוונטי ונותן ערך? | לשכתב, לשפר או להסיר אם אין הצדקה להשאיר אותו. |
| אלפי URLs לא צפויים | איזו מערכת או תקלה יצרה אותם? | קודם לתקן את מקור הבעיה ורק אחר כך לטפל ב-URLs עצמם. |
איך אני מחליט מה למחוק ומה להשאיר?
במצבים כאלה אני קודם כל ממפה את האתר.
יש לי תוכנות וכלים שיצרתי בעצמי שעוזרים לי למפות את כל האתר ולהבין אילו עמודים ותכנים באמת נכונים לאתר ואילו לא.
אני רוצה להבין מה יש באתר לפני שאני מתחיל למחוק דברים.
אם אני רואה שהתוכן נכתב ברובו באמצעות AI בצורה אגרסיבית, לא נכונה, לא איכותית ולפעמים אפילו בלי קשר אמיתי לנושא של האתר, בהרבה מקרים אני אבחר למחוק אותו.
וכן, זה קורה הרבה פעמים.
מצד שני, אם אני רואה עמוד שיש לו מטרה, נושא נכון ותוכן שאפשר לעבוד איתו, יכול להיות שאבחר דווקא לשפר אותו.
לכן מבחינתי צריך קודם למפות.
לראות מה קיים.
להבין מה נכון לאתר ומה לא נכון לאתר.
ורק אז להחליט מה מוחקים, מה משפרים ואיך ממשיכים.
מה הקשר בין כל הדפים האלה לתקציב הסריקה?
עוד דבר שאני מסתכל עליו הוא תקציב הסריקה של האתר.
אני לא רוצה שמנועי החיפוש יבזבזו משאבים על אלפי URLs שלא מעניינים אותי ושלא צריכים להיות חלק מהאתר.
באתרים גדולים במיוחד זה יכול להפוך לנושא משמעותי יותר.
אבל גם כאן חשוב לא להיכנס ללחץ מכל עמוד שלא נכנס לאינדקס.
אם יש לכם אתר תדמית רגיל עם כמה עשרות או מאות עמודים, וראיתם 10 או 20 עמודים בסטטוס הזה, זה לא אומר ש"שרפתם את תקציב הסריקה".
הבעיה שמעניינת אותי היא כשאני רואה תופעה רחבה: מאות או אלפי URLs שנוצרים בלי סיבה, גוגל ממשיכה להגיע אליהם, ורובם בכלל לא מעניינים אותנו מבחינת SEO.
שם אני רוצה להבין למה הם קיימים מלכתחילה.
מקרה אמיתי: אלפי דפים שנסרקו ולא נכנסו לאינדקס
אני יכול לתת לכם דוגמה מאתר שקיבלתי לאחרונה.
הייתה מותקנת באתר סוג של מערכת שיצרה דפים בצורה אוטומטית.
כשבדקנו את האתר, היו בערך 2,000-3,000 דפים שגוגל סרקה אבל לא הכניסה לאינדקס.
במקביל, האתר היה באזור של 150 כניסות אורגניות.
מיפינו את האתר, בדקנו את העמודים, טיפלנו בדפים המיותרים ושיפרנו את מה שהיה נכון להשאיר.
בחודש השני כבר ראינו באזור 900 כניסות.
עכשיו, חשוב להבין: אני לא אומר לכם שכל אתר שיש בו דפים שלא נכנסו לאינדקס יעבור מ-150 ל-900 כניסות.
ממש לא.
כל אתר הוא מקרה אחר ויש עוד הרבה מאוד דברים שיכולים להשפיע על התנועה האורגנית.
אבל זאת דוגמה שמראה למה חשוב לבדוק מה באמת קורה בתוך האתר ולא לתת למערכות אוטומטיות פשוט לייצר עוד ועוד עמודים בלי שאף אחד בודק אותם.
האם 10 או 20 דפים שלא נכנסו לאינדקס זו בעיה?
לא צריך ישר להילחץ.
אם אני רואה בין 10 ל-20 עמודים שנסרקו אבל לא נכנסו לאינדקס, אפשר לעבור עליהם ידנית.
אני פותח את העמודים, מסתכל מה יש בהם ומנסה להבין למה הם נמצאים שם.
יכול להיות שחלק מהם בכלל לא מעניינים אותי.
יכול להיות שחלק מהם צריכים שיפור.
ויכול להיות שצריך פשוט לתת לגוגל עוד זמן.
כשמדובר בכמות כזאת, אפשר לעשות בדיקה ידנית ולסיים עם זה.
מתי אני כן מתחיל לחשוד שיש בעיה רצינית?
כשאני רואה אלף, אלפיים או שלושת אלפים עמודים ויותר, במיוחד באתר שלא אמור להכיל כמות כזאת של עמודים, שם אני כבר רוצה להבין מה קורה.
אתר תדמית רגיל שנבנה לפני שנתיים או שלוש לא אמור פתאום להכיל אלפי דפים בלי שאף אחד יודע מאיפה הם הגיעו.
במצב כזה יש סיכוי שמשהו טכני יוצר את הדפים האלה.
יכול להיות שזו אוטומציה.
יכול להיות שזה תוסף.
יכול להיות שזו מערכת תוכן.
ויכול להיות שמישהו החליט לייצר אלפי עמודים באמצעות AI בלי לבנות אסטרטגיה אמיתית.
במקום לנסות לאנדקס את כולם, קודם כל צריך להבין למה הם קיימים.
אל תנסו להכריח את גוגל לאנדקס כל עמוד
זאת נקודה מאוד חשובה.
המטרה היא לא שכל URL שקיים באתר יהיה באינדקס של גוגל.
אם יש לכם עמוד גרוע, מיותר ולא רלוונטי, אני לא רוצה להתחיל להילחם עם Google Search Console ולנסות לגרום לגוגל להכניס אותו בכוח לאינדקס.
אני קודם כל שואל שאלה הרבה יותר פשוטה:
האם העמוד הזה בכלל צריך להיות בגוגל?
אם התשובה היא כן, אני רוצה להבין למה הוא לא נכנס ולשפר אותו.
אם התשובה היא לא, יכול להיות שהפתרון הוא בכלל להסיר אותו או לטפל בו בדרך אחרת בהתאם לסוג העמוד.
מה לא לעשות כשיש הרבה דפים שלא נכנסים לאינדקס?
אל תתחילו ישר לשלוח אלפי בקשות אינדוקס.
אל תנסו לשפר אלפי עמודים לפני שאתם מבינים מאיפה הם הגיעו.
אל תניחו שכל תוכן שנוצר באמצעות AI הוא בהכרח טוב רק בגלל שיש בו הרבה מילים.
אל תתנו למערכת אוטומטית לייצר לכם אלפי URLs בלי בקרה.
ואל תמחקו אלפי עמודים לפני שעשיתם מיפוי והבנתם מה באמת קיים באתר.
קודם כל בודקים.
אחר כך ממפים.
מבינים מה חשוב ומה לא.
מתקנים את מקור הבעיה.
ורק אז מתחילים לנקות ולשפר את האתר.
AI ואוטומציה הם כלים לא אסטרטגיית SEO
אני לא נגד AI.
אני גם לא נגד אוטומציות.
אבל צריך להשתמש בהם כמו שצריך.
אם יש לכם כלי שעוזר לכם לעבוד מהר יותר, מעולה.
אבל אם חיברתם תוכנה לאתר והיא מתחילה להעלות מאות ואלפי עמודים בלי שאתם יודעים מה כתוב בהם, למי הם מיועדים ולמה הם בכלל קיימים, זו כבר לא אסטרטגיית SEO.
מבחינתי, תוכן צריך להיות קשור לאתר, לתת ערך ולהיות חלק מתוכנית מסודרת.
אל תעלו אלפי עמודים רק בגלל שהיום אפשר לעשות את זה בלחיצת כפתור.
סיכום: נסרק כרגע לא נוסף לאינדקס
אם אתם נכנסים ל-Google Search Console ורואים את ההודעה "נסרק כרגע – לא נוסף לאינדקס", קודם כל אל תילחצו.
אם מדובר ב-10 או 20 עמודים, אפשר לעבור עליהם ידנית ולהבין מה קורה.
תבדקו אם העמוד חשוב.
תבדקו את התוכן.
תבדקו את המבנה שלו.
ותבדקו אם בכלל יש סיבה שהוא יהיה באינדקס.
אבל אם אתם רואים אלף, אלפיים או שלושת אלפים עמודים ויותר, במיוחד באתר שלא אמור להכיל כמות כזאת של URLs, שם כבר צריך לעצור ולעשות בדיקה רצינית.
יכול להיות שיש בעיה טכנית.
יכול להיות שיש מערכת שיוצרת דפים אוטומטית.
יכול להיות שהעלו כמויות גדולות של תוכן AI בלי בקרה.
ויכול להיות שיש באתר המון דפים שפשוט לא צריכים להיות שם.
במצב כזה אני ממפה את האתר, מבין אילו עמודים נכונים ואילו לא, מסיר את מה שמיותר ומשפר את מה ששווה להשאיר.
ותקשיבו לחכם הכורדי שכמוני:
אל תסתמכו על כל מיני תוכנות אוטומציה שייצרו לכם אלפי דפים רק כי הן יכולות. תעבדו מסודר, תבדקו מה עולה לאתר ותבנו תוכן שיש לו מטרה אמיתית.
בסופו של דבר, המטרה היא לא להכניס כמה שיותר עמודים לאינדקס.
המטרה היא שהעמודים הנכונים יהיו באינדקס.
