Страница поиска сообщений mil

[iprst]

По какой-то причине 6 декабря прекратилось обновление страницы https://feed.svodd.ru/?rid=3

[audetv]

Полагаю, по причине бана по ip, предупреждений не было. просто перестал сервер отвечать. Проверял просто через curl
на сервере, где запущен worker ответ:
curl: (7) Failed to connect to function.mil.ru port 443 after 36 ms: Couldn't connect to server
если пробую с другого сервера, где бд, например, ответ иного плана, сервер отвечает, но машина требует доверенный сертификат. но тут главное, что ответ приходит от сервера, а в первом варианте нет соединения и все.

Пока наблюдаю за ситуацией, были ранее преценденты, с другими источниками, когда временно выдавали бан, т.к. сайты периодически ддосят и там включается защита в моменты атак, потом через некоторое время все приходило в норму. Но тут уже неделя прошла и изменений нет, выглядит как просто бан. Причем сайт источник все это время чувствует себя хорошо, доступен и не падал. Службу я пока отключил и сервис больше не запрашивает данные с сайта с 7 числа. Но пока не восстановили доступ.

Можно поменять адрес, но я пока не знаю есть ли в этом смысл? Этот сервис никто не использует, например, если в библиотеки хотя бы редко заходят и ищут, то здесь картина совершенно иная. Не знаю. хотел подумать и пока ничего не предпринимал, просто отключил и набюлдал. Вот вы заметили, возможно будет свежая мысль) что можно с эти сделать.

[iprst]

Если сервисом совсем мало пользуются, значит можно пересмотреть его логику. Например, для начала, сделать обновления гораздо реже. Если сейчас раз в час, сделать раз в сутки. Если сейчас раз в сутки, сделать раз в неделю. Информация даже с такой задержкой будет достаточно актуальной в сценарии поиска.

Не пользуются потому что нет рекламы, и потому что нет цели. Но это «проблема» любого проекта, преследующего собственные цели, отличные от толпы. Нам надо чтобы пользовались? Можно в каждом сообщении прикрепить «воспользуйся».

[audetv]

Значит нужно пересмотреть логику. Как будто эта тематика поиска слишком специфическая. Про цели толпы и отличные от целей толпы цели проекта это верно и в точку. Здесь у меня не то, чтобы вопрос, что раз не пользуются, то и отключить, им же не пользуются уже не первый месяц) А условно, что раз обстоятельства пока таковы, то и совершать резкие движения по восстановлению счел нецелесообразным. Пока хотел понаблюдать и осмыслить. Вот обсудили с вами, уже наметились направления, надо пересмотреть логику.

Для начала тогда можно сделать обновления реже. Дальше можно вообще убрать список обновленных событий с главной страницы, т.к. для целей поиск нужна только строка поиска и результаты поиска после запроса, а условные обновления не нужны. Более того можно вообще изменить логику доставки результатов поиска, можно вообще подключить эту БД в локальную библиотеку library как источник поиска или подключить к СВОДД в рамках того, как обсуждали дизайн, и предоставить пользователю выбор, где искать, а результат выдачи будет общий. И уже не нужны будут страницы с поддоменами. Парсер, который собирает материалы и сохраняет в БД не завязан на сайт (фронтенд), на котором показываются результаты пользователю, это разные сервисы, они даже находиться на разных машинах и адресах в сети.

[iprst]

Думаю для подобных сценариев «срыва механизма и новых исторических вводных» можно предусмотреть что-то типа вспомогательной стратегии — перехода той или иной системы на более медленную или менее частотную схему обработки информации. То есть не обязательно прямо совсем отключать или удалять, сбросить в медленный режим и пусть бултыхается до принятия решений. Так получается что всё и работает более-менее прежним образом, и нет насущной проблемы принятия срочных решений.

Подключение таблицы feed к основному поиску это логичное следствие. Вполне вероятно, что все отдельные библиотеки это одна библиотека и так или иначе сольются. По текущему моменту выглядит так, что поиск по трём этим сайтам полностью укладывается в более общую логику поиска по военно-исторической библиотеке. А то всей библиотеки, но всю мы пока показывать не можем — не знаем как.

[audetv]

Перенес сервисы на другой хост, пока работает фоновое обновление БД до даты 6 декабря, периодичность обновления ленты раз в 2 часа.

[iprst]

Лента обновилась, все три потока теперь идут наравне.

[iprst]

Последняя индексированная запись mil от 31 января.

UPD Новый сайт
https://new.mil.ru/
Сайт работает в тестовом режиме.

[audetv]

Да, спасибо, я знаю , отключил парсер еще 2 февраля в воскр. Опять невозможно соединиться с сервером. Отлуп, бан
Я не знаю почему, ленту собираем не часто. Надо подумать. есть идея. ну, или придется опять менять сервер, ip

Апд. про сайт новый не знал, и пока не смог посмотреть, не отвечает, а про парсер знал.

upd: Да новый сайт облом полный. нельзя парсить новости, отдает только javascript и какой-то sputnik-verification

[audetv]

Возможно у министерства есть заинтересованность, чтобы контент не распространялся так как раньше, свободно?, новый сайт выглядит так, что закрывает возможность парсить новости. А лента rss отдает только заголовки и ссылки на новости, ссылки новостей в новом формате с uuid новости в адресе. За текстом новости надо идти на сайт, а сайт не отдает html.

Пока нет мыслей, слишком сложная схема нужна, чтобы парсить новости как раньше, Нужна виртуальная машина с эмулятором браузера с включенным js и все это надо завернуть в новую парсер. Сложно, никогда такого не делал. Возможно надо посмотреть, что да как. Вероятно, пока все же стоит просто сменить ip, а дальше, когда выпустят новый сайт в продакшен, будет ясно.

[iprst]

По такой же схеме с подгрузкой контента через js построен сайт тасс, поэтому мне не удалось сделать нормальный парсер новостей напрямую, хотя дипсик предлагал какие-то решения, слабой работоспособности. Принципиально это можно реализовать, просто издержки.

По смене ip мысль правильная думается мне.