OSINT, или Open Source Intelligence, представляет собой сбор данных из распределенных и свободно доступных источников. Инструменты OSINT используются для сбора и передачи данных из Интернета. Данные доступны в различных структурах, включая текстовый дизайн, документы, изображения и т.д. Анализ и сбор информации из Интернета или других общедоступных источников известен как OSINT или Open Source Intelligence. Это метод, используемый разведывательными и охранными компаниями для сбора информации. В этой статье рассматриваются некоторые из наиболее полезных инструментов и методов OSINT.

Maltego

Maltego был создан Paterva и используется правоохранительными органами, экспертами по безопасности и социальными инженерами для сбора и анализа информации из открытых источников. Он может собирать большие объемы информации из различных источников и использовать различные методы для получения графических, наглядных результатов. Maltego предоставляет библиотеку преобразований для исследования данных из открытых источников и представляет эти данные в графическом формате, который подходит для анализа взаимосвязей и интеллектуального анализа данных. Эти изменения являются встроенными и могут быть изменены в зависимости от необходимости.

Maltego написан на Java и работает с любой операционной системой. Он предустановлен в Kali Linux. Maltego широко используется из-за своей приятной и простой для понимания модели отношений сущностей, которая представляет все необходимые детали. Основная цель этого приложения - исследовать реальные отношения между людьми, веб-страницами или доменами организаций, сетей и интернет-инфраструктуры. Приложение может также ориентироваться на связь между учетными записями социальных сетей, API-интерфейсами разведки с открытым исходным кодом, собственными частными данными и узлами компьютерных сетей. Благодаря интеграции от разных партнеров по обработке данных, Maltego в невероятной степени расширяет охват данных.

Recon-ng

Recon-ng - это инструмент наблюдения, идентичный Metasploit. Если recon-ng управляется из командной строки, вы войдете в среду, такую ​​как оболочка, в которой вы можете настроить параметры, перенастроить и вывести отчеты для различных форм отчетов. Виртуальная консоль Recon-ng предлагает множество полезных функций, таких как завершение команд и контекстная поддержка. Если вы хотите что-то взломать, используйте Metasploit. Если вы хотите собрать общедоступную информацию, используйте Набор инструментов социальной инженерии и Recon-ng для наблюдения.

Recon-ng написан на Python, и его независимые модули, список ключей и другие модули в основном используются для сбора данных. Этот инструмент предварительно загружен с несколькими модулями, которые используют поисковые системы, плагины и API-интерфейсы, которые могут помочь в сборе целевой информации. Реконструкция, как и вырезание и вставка, автоматизирует трудоемкие процессы OSINT. Recon-ng не предполагает, что его инструменты могут выполнять весь сбор данных OSINT, но его можно использовать для автоматизации многих наиболее распространенных форм сбора данных, что дает больше времени для вещей, которые все еще необходимо выполнить вручную.

Используйте следующую команду для установки recon-ng:

1
2

sudo apt install recon-ng
recon-ng

Предположим, нам нужно собрать несколько поддоменов цели. Для этого мы будем использовать модуль под названием «цель хакера».

1
2
3

[recon-ng][default] > load hackertarget
[recon-ng][default][hackertarget] > show options
[recon-ng][default][hackertarget] > set source google.com

Теперь программа соберет связанную информацию и покажет все поддомены целевого набора.

Shodan

Чтобы найти что-либо в Интернете, особенно в Интернете вещей (IoT), оптимальной поисковой системой является Shodan. В то время как Google и другие поисковые системы индексируют поиск только в Интернете, Shodan индексирует почти все, включая веб-камеры, водоснабжение частных самолетов, медицинское оборудование, светофоры, электростанции, устройства считывания номерных знаков, смарт-телевизоры, кондиционеры и все, что вы можете подумать. из этого подключено к Интернету. Наибольшее преимущество Shodan заключается в том, что он помогает защитникам обнаруживать уязвимые машины в их собственных сетях. Давайте посмотрим на несколько примеров:

  • Чтобы найти серверы Apache на Гавайях: город апачей: “Гавайи”

  • Чтобы найти устройства Cisco в данной подсети: cisco net: “214.223.147.0/24”

Вы можете найти такие вещи, как веб-камеры, пароли по умолчанию, маршрутизаторы, светофоры и многое другое, с помощью простого поиска, поскольку он проще, понятнее и проще в использовании.

Google Dorks

Взлом Google, или Google dorking, - это тактика взлома, при которой используется Google Search и другие приложения Google для выявления недостатков безопасности в конфигурации и машинном коде веб-сайта. «Взлом Google» предполагает использование специализированных операторов поисковой системы Google для поиска уникальных текстовых строк в результатах поиска. Давайте рассмотрим несколько примеров использования Google Dork для поиска частной информации в Интернете. Есть способ идентифицировать файлы .LOG, которые непреднамеренно доступны в Интернете. Файл .LOG содержит сведения о том, какие могут быть системные пароли, а также о различных учетных записях пользователей или администраторов системы, которые могут существовать. После ввода следующей команды в поле поиска Google вы найдете список продуктов с открытыми файлами .LOG до 2017 года:

1

allintext:password filetype:log before:2017

Следующий поисковый запрос найдет все веб-страницы, содержащие указанный текст:

1

intitle:admbook intitle:Fversion filetype:php

Некоторые другие очень мощные поисковые операторы включают следующее:

  • inurl: ищет указанные термины в URL-адресе.

  • filetypes: поиск файлов определенных типов, которыми может быть любой тип файла.

  • site: ограничивает поиск одним сайтом

Spyse

Spyse - это поисковая система по кибербезопасности, которую можно использовать для быстрого поиска интернет-активов и проведения внешней идентификации. Преимущество Spyse отчасти связано с его методологией базы данных, которая позволяет избежать проблемы длительного сканирования запросов на сбор данных. При одновременной работе нескольких служб и получении отчетов, на возврат которых может потребоваться очень много времени, специалисты по кибербезопасности могут знать, насколько неэффективным может быть сканирование. Это основная причина, по которой профессионалы в области кибербезопасности переходят на эту потрясающую поисковую систему. Архив Spyse содержит более семи миллиардов важных документов с данными, которые можно мгновенно загрузить. Используя 50 высокопроизводительных серверов с данными, разделенными на 250 сегментов, потребители могут получать прибыль от самой большой доступной масштабируемой онлайн-базы данных.

Помимо предоставления необработанных данных, эта поисковая машина в киберпространстве также фокусируется на демонстрации взаимосвязи между различными областями Интернета.

The Harvester

Harvester - это утилита на основе Python. Используя эту программу, вы можете получать информацию из многочисленных общедоступных источников, таких как поисковые системы, серверы ключей PGP и базы данных устройств SHODAN, такую как адреса, поддомены, администраторы, имена сотрудников, номера портов и флаги. Если вы хотите определить, что злоумышленник может увидеть в компании, этот инструмент вам пригодится. Это инструмент Kali Linux по умолчанию, и вам просто нужно обновить The Harvester, чтобы использовать его. Для установки введите следующую команду:

1

sudo apt-get theharvester

Базовый синтаксис The Harvester следующий:

1

theharvester -d [domainName] -b [searchEngineName / all][parameters]

Здесь -d - это название компании или домена, в котором вы хотите выполнить поиск, а -b - это источник данных, например LinkedIn, Twitter и т.д. Для поиска электронных писем используйте следующую команду:

1

theharvester.py -d Microsoft.com -b all

Возможность поиска виртуальных хостов - еще одна увлекательная особенность комбайна. Посредством разрешения DNS приложение проверяет, связаны ли несколько имен хостов с определенным IP-адресом. Эти знания очень важны, потому что надежность этого IP-адреса для одного хоста зависит не только от его уровня безопасности, но и от того, насколько безопасно подключены другие, размещенные на том же IP-адресе. Фактически, если злоумышленник взломает один из них и получит доступ к сетевому серверу, то злоумышленник может легко проникнуть на любой другой хост.

SpiderFoot

SpiderFoot - это платформа, используемая для сбора IP-адресов, доменов, адресов электронной почты и других целей анализа из нескольких источников данных, включая такие платформы, как Shodan и Have I Been Pwned, для информации с открытым исходным кодом и обнаружения уязвимостей. SpiderFoot можно использовать для упрощения процесса компиляции OSINT для поиска информации о цели путем автоматизации процесса сбора.

Чтобы автоматизировать этот процесс, Spiderfoot ищет более 100 источников общедоступной информации и управляет всей секретной информацией с различных сайтов, адресов электронной почты, IP-адресов, сетевых устройств и других источников. Просто укажите цель, выберите модули для запуска, а Spiderfoot сделает все остальное за вас. Например, Spiderfoot может собрать все данные, необходимые для создания полного профиля по предмету, который вы изучаете. Он мультиплатформенный, имеет крутой веб-интерфейс и поддерживает почти 100+ модулей. Установите указанные ниже модули Python для установки spiderFoot:

1
2

sudo apt install pip
pip install lxml netaddr M2Crypto cherrypy mako requests bs4

Creepy

Creepy - это аналитическая платформа с открытым исходным кодом для геолокации. Используя различные сайты социальных сетей и услуги хостинга изображений, Creepy собирает информацию об отслеживании местоположения. Затем Creepy отображает отчеты на карте с помощью методологии поиска, основанной на точном местоположении и времени. Позже вы можете подробно просмотреть файлы, экспортировав их в формат CSV или KML. Исходный код Creepy доступен на Github и написан на Python. Вы можете установить этот замечательный инструмент, посетив официальный сайт:

В Creepy есть две основные функции, определяемые двумя конкретными вкладками в интерфейсе: вкладка «Просмотр карты» и вкладка «Цели». Этот инструмент очень полезен для сотрудников службы безопасности. Вы можете легко предсказать поведение, распорядок, хобби и интересы своей цели с помощью Creepy. Небольшая часть информации, которая вам известна, может не иметь большого значения, но когда вы видите полную картину, вы можете предсказать следующий ход цели.

Jigsaw

Jigsaw используется для получения знаний о сотрудниках компании. Эта платформа хорошо работает с крупными организациями, такими как Google, Yahoo, LinkedIn, MSN, Microsoft и т.д., Где мы можем легко выбрать одно из их доменных имен (скажем, microsoft.com), а затем скомпилировать все электронные письма из их персонал в различных подразделениях данной компании. Единственным недостатком является то, что эти запросы отправляются к базе данных Jigsaw, размещенной на jigsaw.com, поэтому мы полагаемся исключительно на знания в их базе данных, которые они позволяют нам исследовать. Вы можете получить информацию о крупных корпорациях, но вам может не повезти, если вы исследуете менее известную стартап-компанию.

Nmap

Nmap, которая выступает за Network Mapper, бесспорно один из самых известных и популярных социальных инженерных инструментов. Nmap основывается на предыдущих инструментах мониторинга сети, чтобы обеспечить быстрое и полное сканирование сетевого трафика.

Чтобы установить nmap, используйте следующую команду:

1

sudo apt install nmap

Nmap доступен для всех операционных систем и поставляется с предварительно установленной Kali. Nmap работает, обнаруживая хосты и IP-адреса, работающие в сети, с помощью IP-пакетов, а затем исследуя эти пакеты, чтобы включить подробную информацию о хосте и IP-адресе, а также операционных системах, которые они работают.

Nmap используется для сканирования сетей малого бизнеса, сетей масштаба предприятия, устройств и трафика Интернета вещей, а также подключенных устройств. Это будет первая программа, которую злоумышленник будет использовать для атаки на ваш сайт или веб-приложение. Nmap - это бесплатный инструмент с открытым исходным кодом, используемый на локальных и удаленных хостах для анализа уязвимостей и обнаружения сети.

Основные функции Nmap включают обнаружение порта (чтобы убедиться, что вы знаете, какие утилиты работают на определенном порту), обнаружение операционной системы, обнаружение информации IP (включая Mac-адреса и типы устройств), отключение разрешения DNS и обнаружение хоста. Nmap идентифицирует активный хост с помощью сканирования ping, то есть с помощью команды nmap -sp 192.100.1.1/24, которая возвращает список активных хостов и назначенных IP-адресов. Возможности и возможности Nmap чрезвычайно велики и разнообразны. Ниже приведены некоторые команды, которые можно использовать для базового сканирования портов:

Для базового сканирования используйте следующую команду:

1

nmap

Для сканирования с захватом баннеров и определения версии сервиса используйте следующую команду:

1

nmap -sP -sC

Для обнаружения операционной системы и агрессивного сканирования используйте следующую команду:

1

nmap -A -O-

Вывод

Open Source Intelligence - полезный метод, который можно использовать для поиска практически всего, что находится в Интернете. Знание инструментов OSINT - это хорошо, так как это может иметь большое значение для вашей профессиональной работы. Есть несколько замечательных проектов, которые используют OSINT, например, поиск потерянных людей в Интернете. Из множества подкатегорий разведки наиболее широко используется открытый код из-за его низкой стоимости и чрезвычайно ценной продукции.