Нужен бот переходящий по ссылкам

Question

Нужен бот переходящий по ссылкам

По моим наблюдениям, часть обратных ссылок на некоторых сайтах поисковики индексируют только после того, как я перейду по ним на свой сайт.

К примеру, ссылки в самой теме "Цветы" на /theme/cveti/ индексируются быстро. Однако ссылки на странице /forum/post-13/, которая относится к той же теме, индексируются только при переходе по соответствующей ссылке на пост. В данный момент мне приходится выполнять это вручную.

Подскажите, каким образом можно использовать программу (бот), чтобы она сама находила ссылки на отдельные посты в нужной теме и переходила по ним на мой сайт. Я готов заплатить за такое решение, лишь бы оно работало.

0

скрипт

Ответы на пост (3) Написать ответ

Быстрая регистрация для ответа Войти

Answer 1

OrenZeN

94

20.11.2023 17:28

Я пользуюсь livesurf.ru

0

Answer 2

Не работает так индексация при переходе ботами. Если нужно проиндексировать что-то, обращайся, помогу

Answer 3

Вот пример JS бота, на Puppeteer. Он может автоматически переходить по ссылкам на вашем сайте:

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('http://example.com');

  const links = await page.evaluate(() => {
    return Array.from(document.querySelectorAll('a')).map(link => link.href);
  });

  for (let link of links){
    await page.goto(link);
    await page.waitForTimeout(1000); // Ждем 1 секунду на каждой странице
  }

  await browser.close();
})();

В этом коде мы открываем новую страницу, переходим на ваш сайт, находим все ссылки на странице и переходим по каждой из них. Puppeteer работает на Node.js, поэтому вам потребуется сервер Node.js для запуска этого кода.

Нужен бот переходящий по ссылкам

Похожие посты

Анализ сайта