Останавливаем Wayback Machine. Методы CounterOSINT

Сегодня вы научитесь противодействовать OSINT и познакомитесь с директивой Check WebArchive. CounterOSINT — цикл статей, про противодействия OSINT методам.

В арсенал опытных OSINT сыщиков входит директива под названием Check WebArchive. Данный кейс предлагает оперативному сотруднику проверить URL сайта (если такой имеется) по базе снимков, сделанных с помощью автоматического сервиса https://web.archive.org/

Веб-архив (Webarchive) — это бесплатная платформа, где собраны все сайты, созданные когда-либо, и на которые не наложен запрет для их сохранения.

Что делает Wayback Machine?

У тебя есть сайт. Wayback Machine посылает своих роботов аналогично поисковым системам, которые индексируют данные. Роботы создают снимки страниц твоего сайта и сохраняют всё найденное в базу в хронологическом порядке. Все снимки твоего сайта доступны любому пользователю. Грубо говоря Wayback Machine клонирует твой сайт и сохраняет в свою базу. И что важно, снимки делаются регулярно.

Чем привлекателен Wayback Machine для OSINT

Допустим вы указали на странице «Контакты», номера сотовых телефонов своих сотрудников. Затем через неделю передумали и удалили персональные данные, почистили кеши google и yandex. Проверили что номера не ищутся в поисковых системах. И вроде все хорошо, но до того как вы произвели зачистку, на ваш сайт зашел робот Wayback Machine и сделал снимок всех страниц, в том числе страницы «Контакты».

Имея в распоряжении URL вашего сайта, оперативный сотрудник согласно директиве Check WebArchive заходит на сайт Wayback Machine и смотрит хронологию изменений. Естественно с легкостью находит номера сотовых телефонов вашего персонала, которые вы давным-давно удалили.

Wayback Machine выступает неким инструментом для бекапа (резервная копия). В свое время я смог найти свой сайт, который делал в 2000 годах и с удовольствием отдался ностальгии.

Это касается любой информации, которую вы удаляете и изменяете у себя на сайте. Все что публикуется в сеть интернет, остается там навсегда.

Останавливаем Wayback Machine

Во времена динозавров, отлично работал метод остановки через файл robots.txt. Где прописывался запрет на индексацию, конкретно под User-agent.

User-agent: ia_archiver 
Disallow: / 
​
User-agent: archive.org_bot 
Disallow: /

В наше время данный способ устарел и работает примерно на 30% (судя по статистике), что естественно меня не устраивает. Теперь для остановки роботов, необходимо подготовить и написать специальное письмо на адрес электронной почты info@archive.org

Полезные наблюдения при подаче заявки

  • Письмо лучше писать с почты, которая привязана к домену.
  • В первый раз когда мы написали с почты info@osint.systems, наша заявка даже не рассматривалась. А вот когда отправили с адреса advert@osint.systems, все сработало.
  • Шаблон необходимо заполнять на английском языке и указывать достоверные данные.
  • Нельзя менять структуру шаблона и тему письма. Так как письмо будет обрабатываться в автоматическом режиме. Первый этап обрабатывает робот, второй этап живой менеджер, который может задать дополнительные вопросы. Менеджер так-же постарается вас отговорить от исключения вашего сайта из их системы, не поддавайтесь, стойте на своем и грозите карами и судами.

Собственно рабочий шаблон письма, который мы отправляли:

тема письма: DMCA Take Down Notice

Sir,

I am owner of domain name and website "osint.systems"

I request you to remove the following link from your website

https://web.archive.org/web/*/osint.systems

My Address - "Banana street 15, office 24"

Phone No. - "+12345678901"

Email Address - "advert@osint.systems"

I have a good-faith belief that the disputed use is not authorized by the copyright owner, its agent, or the law.

The above information in this notice is accurate, and under penalty of perjury, I am the owner of the copyright interest involved.

Signature - "Oleg Savkin"

Через некоторое время заходим по ссылке https://web.archive.org/web/*/osint.systems и проверяем, действительно ли наш сайт исключили из индексации.

Останавливаем Wayback Machine. Методы CounterOSINT

Как видим все получилось. Теперь если кто-то начнет применять директиву Check WebArchive относительно вашего сайта, то в итоге получит совершенно никакой полезной информации.

Вся информация предоставлена исключительно в ознакомительных целях. Ни сайт, ни автор не несут ответственности за любой возможный вред, причиненный материалами данной статьи.

Понравилась статья? Поделиться с друзьями
Сбор и обработка информации в сети интернет. Услуги по сбору и обработке информации на заказ