人工智能在开源情报中扮演的新角色

开源情报
最近，国家情报总监办公室 (ODNI) 公布了一项新的开源情报 (OSINT) 战略，并将 OSINT 称为“首选情报”。公共和私营部门组织正在意识到该学科可以提供的价值，但也发现近年来数字数据的指数级增长已经压倒了许多传统的 OSINT 方法。值得庆幸的是，人工智能 (AI) 和机器学习 (ML) 开始对信息收集和分析的未来产生变革性影响。

什么是开源情报（OSINT）？#
开源情报是指从公开来源收集和分析信息。这些来源可以包括传统媒体、社交媒体平台、学术出版物、政府报告以及任何其他可公开访问的数据。开源情报的主要特点是它不涉及秘密或隐秘的信息收集方法，例如人力情报或社会工程。如果我在美国政府工作期间可以获得数据，但作为平民我不再能获得数据，那就不是开源情报。

从历史上看，OSINT 是一个劳动密集型的过程，涉及几个关键步骤：

来源识别：分析师确定哪些公共来源可能包含相关信息。
数据收集：通常通过手动搜索或网络抓取工具从这些来源收集信息。
数据处理：对收集到的信息进行组织和结构化，以供分析。
分析：熟练的分析师检查数据以识别模式、趋势和见解。
报告：将调查结果汇编成报告，以便决策者做出更明智的决策。
虽然这种方法有效，但由于可用信息量巨大，这种方法也面临限制。人类分析师很难手动处理所有事情，有价值的见解可能隐藏在人类难以察觉的复杂模式中。这正是人工智能/机器学习在信息收集、处理和分析方面可以发挥巨大作用的地方，从而让人类分析师可以专注于他们独有的才能，比如提供背景信息。作为一个附带好处，这种转变通常会提高士气，因为人类花在平凡的处理任务上的时间更少，而花在分析和审查信息上的时间更多。

AI/ML 能够带来直接益处的任务包括：

处理海量数据：人工智能系统能够以远超人类能力的速度处理和分析大量数据。这使得 OSINT 从业者能够比以前撒下更大的网，并且仍能处理结果。
实时分析：当今数字世界中的信息流量惊人。人工智能驱动的 OSINT 工具可以实时监控和分析数据流，提供最新情报并快速应对突发情况。
多语言和多模式分析：人工智能可以同时翻译和分析多种语言的内容，打破语言障碍。此外，它可以以集成的方式处理各种数据类型（文本、图像、音频和视频），提供更全面的情报图景。许多功能（例如 OpenAI 的 Whisper）都可以离线使用，从而消除对操作安全性（OPSEC）的任何担忧。
预测分析：通过分析历史数据和当前趋势，人工智能可以帮助预测未来事件或行为，为 OSINT 增加主动维度。
日常任务自动化：人工智能可以帮助实现开源情报的许多耗时环节的自动化，例如数据收集和初始筛选，从而让人类分析师能够专注于更高层次的分析和决策。以前很难甚至不可能实现的事情，例如准确的情绪分析，现在变得微不足道。
在SANS 网络安全中，SEC497 实用 OSINT课程和SEC587 高级 OSINT课程将为学生提供利用这些 AI 功能的实践经验，不仅可以提高生产力，还可以发现新的可能性。

虽然没有一种技术是完美的，而且在实施人工智能之前我们必须考虑幻觉可能造成的潜在影响，但目前用于 OSINT 的关键技术包括：

自然语言处理 (NLP)： NLP 使机器能够理解、解释和生成人类语言。在 OSINT 中，NLP 对于以下方面至关重要：
社交媒体帖子的情绪分析
实体识别，用于识别文本中的人物、组织和位置
主题建模对大量文本数据进行分类
用于多语言情报收集的机器翻译
计算机视觉：该技术使机器能够解释和分析视觉信息。在 OSINT 中，计算机视觉用于：
图像和视频中的面部识别
通过面部比较来识别多幅图像中是否出现了同一个人
图像中的物体检测
光学字符识别 (OCR) 从图像中提取文本
视频片段中的场景理解
机器学习和数据挖掘：您听过多少次“不懂历史的人注定要重蹈覆辙”？机器学习是这一概念的化身，因为它允许系统从数据中学习并随着时间的推移提高其性能。在 OSINT 中，它们用于：
预测分析以预测趋势或事件
异常检测以识别异常模式或行为
对数据进行聚类和分类以便于分析
通过网络分析来了解实体之间的关系
我从事开源情报工作已有近二十年，这是迄今为止我见过的最具活力、最令人兴奋的时代，该领域每天都在发生新发展。如果您今年 9 月要参加拉斯维加斯的网络安全活动，我期待与您讨论这种能力如何提高我们今天的效率和效力，以及我们对未来的期望。

尚未注册 SANS 网络安全？查看此页面查看所有可用内容！

注意： 本文由SANS 首席讲师兼 Argelius Labs 负责人Matt Edmondson精心撰写，他拥有十年专业 OSINT 经验。