今年二月,OpenAI发布了其首个文本到视频的人工智能模型Sora,作为人工智能和视频制作领域的革命性进步,吸引了公众的广泛关注。尽管生成复杂动作和场景的能力为各行各业开辟了新的机遇,但它也给企业带来了前所未有的挑战,尤其是深度伪造威胁加剧。人工智能的快速发展极大地复杂了用户身份的验证,为欺诈者提供了充分利用漏洞的机会。
“香港警方最近揭露了一起重大的人工智能欺诈案件,在这起案件中,一名跨国公司的财务员工被诈骗者使用人工智能换脸技术冒充该公司的首席财务官。尽管最初受到怀疑,但当其他同事加入视频通话时,这名员工还是放心了,导致2亿港元转入一个未知账户。”
该案体现了电信欺诈领域滥用人工智能的重大发展。在本文中,我们将重构与人工智能相关的身份欺诈的过程,以及应对这些挑战的预防措施。
初始攻击过程
最初的欺诈性攻击过程可以分为以下几个步骤:通过社会工程策略获得受害者的信任、控制他们的移动设备、窃取账户、转移资金或消费信用额度。在获得用户身份后,欺诈者将发起模拟攻击,例如人工智能换脸、绕过活体检测的演示或注入攻击,以及转移资金/申请贷款/消费信用额度。
💡 在信息安全的背景下,社会工程是一种操纵、影响或欺骗受害者的策略,目的是控制计算机系统,或窃取个人和财务信息。它使用心理操纵来欺骗用户犯安全错误或泄露敏感信息。

准备
- 建立冒充政府机构(如公安部、财政部和税务局)的钓鱼网站。
- 设计类似于 Google Play、TestFlight 和其他用户界面,以引诱用户下载恶意软件。
获得信任
此步骤的目标是在受害者的移动设备上安装恶意软件以获得控制访问权限。
- 通过电话/短信发起联系,引导受害者通过即时通讯应用程序进行通信。
- 通知受害者自己或为家人安装 “软件”,据称是为了申请数字养老金、退税或申请低息贷款。
- 说服受害者通过与谷歌Play和TestFlight非常相似的平台下载恶意软件,同时还通过移动设备管理(MDM)操纵苹果设备。
控制设备
这些操作会使更换设备、IP 检测和双因素身份验证等典型安全措施失效。
- 远程控制主机移动设备。
- 使用受感染的设备作为流量代理。
- 安装短信过滤器插件以将所有消息重定向到外部服务器。
- 从受害者图库中检索图像并捕获面部识别数据。
窃取账号
这一关键步骤从受害者的设备中检索了几乎所有的个人信息。
- 滥用无障碍服务来读取用户界面(UI)和按键,从而检索密码。
- 引导用户访问钓鱼网站以获取个人信息:姓名、电子邮件、银行账户、电话号码、地址、身份证照片、面部识别数据等。
获利
在这个阶段,欺诈者已经获得了对该设备的完全控制权。由于消息被截获,受害者无法收到任何相关通知。
- 发动大规模攻击,反复使用受害者的信息扣押资产。
这些策略的出现可以追溯到2023年底谷歌商店隐私政策的续订,当时收紧了与位置检索、应用程序列表、短信/通话记录和摄像头相关的权限。此外,它扩大了与垃圾软件具有相似权限和恶意代码的应用程序的分类。
在这种背景下,跨平台模拟攻击变得越来越流行。通常,欺诈者对特定领域的功能和审计要求有深入的了解。他们将调查类似平台上的安全措施,然后发起大规模攻击。
目前,TrustDecision 情报小组已经监视了困扰泰国、菲律宾、越南、印度尼西亚、秘鲁等国家的此类袭击。
派生攻击流程-使用 AIGC
- 调查应用程序类别和常见 SDK。
- 安装目标应用程序。
- 在目标平台上注册账户。
- 使用被盗的身份获取更多数据。
- 使用人工智能生成视频:人脸交换、用于演示或注入攻击的视频生成。
- 完成身份验证。
- 提款或消费信用额度。
在这种情况下,由于所有 “申请人” 提交真实的用户信息,身份验证变得棘手,这对于传统的KYC工具检测身份欺诈构成了挑战。此外,欺诈者对数据所有者的信誉了如指掌,从而确保其满足平台的风险控制要求。
💡 当前,大多数面部识别解决方案都使用演示攻击检测 (PAD) 来确定身份是否真实。
💡 演示攻击是指攻击者使用虚假或模拟的生物识别数据(例如口罩或照片)来欺骗生物识别身份验证系统,例如面部识别。PAD 旨在区分活人脸和此类模仿。它主要用于防御演示攻击。但是,越来越多的欺诈者现在转向deepfake进行注入攻击,这种攻击绕过物理摄像头,使用虚拟摄像机等工具将图像直接输入到系统的数据流中。
案例
考虑到数据的可用性、攻击成本和平台加密的复杂性,欺诈者可能会发起各种形式的攻击,包括但不限于出示经过操纵的照片、头像、打印的照片、屏幕拍摄和注入攻击等。
案例 1
方法: Photoshop 替换身份证的肖像,拍摄屏幕,并持有 3D 头部模型以通过活体检测。
数据特征: 汇总了相似/近乎相同的人口统计数据,聚合了高度相同的面部特征
风险标签: photoshop、图像边缘异常、假脸
目标: 检测平台风险控制能力的基线
案例 2
方法: 更改身份证的名称,使用印刷材料或在屏幕上贴膜
数据特征: 汇总了相似/近乎相同的人口统计数据,聚合了高度相同的面部特征
风险标签: photoshop,反射,云纹效果
目标: 要伪造身份,请绕过活体检测和随后的肖像比较
案例 3
方法: 在弄清楚平台的活体检测算法后批量制作视频
数据特征: 极高的活体检测合格率、高度相似的视频背景和申请人的服装
风险标签: AIGC,注射攻击
目标: 要伪造身份,请绕过活体检测和随后的肖像比较
关键问题出现了...
如何为此类攻击做准备?
上述风险源于多种技术和策略,包括社会工程、恶意软件、远程控制和AIGC等。为了应对这些风险,平台必须加强用户在防范欺诈方面的教育,通过防火墙和恶意软件检测和删除工具加强应用程序安全,并制定有效的监控机制。此外,他们应改进处理恶意AIGC应用程序的策略,并不断更新反欺诈算法,以及时检测和应对风险行为。
在实施方面,它涉及业务逻辑设计、工具和技术重建、对身份验证过程和结果的监控和分析、验证行为分析、简历模型对策、赋能决策人工智能模型以及补充离线检索等。
信任决策建议:
- 建立全面的风险概况数据库,包括用户的设备、IP、账户信息等。
- 进行环境扫描,确保运营和网络安全。易受攻击的环境是注射攻击的温床。
- 检测数据聚合异常。例如,设备信息、面部特征、账户信息、人口统计数据的异常聚合。
- 验证许可证。这可以保护关键资产,例如验证结果,免受重放攻击和恶意 API 调用。
- 检测提交的身份验证材料。验证面部特征以防止异常和深度伪造。
- 设置警报,对相应的站点和国家/地区进行异常监控。
- 教育您的用户。
- 不要点击可疑链接,因为移动恶意软件通常通过电子邮件、短信和社交媒体帖子中的恶意链接传播。
- 告知用户仅从谷歌Play商店和苹果应用商店等官方平台下载应用程序。
- 安装新应用程序时,请仔细检查所请求的权限,并在应用程序请求无障碍服务时保持高度警惕。
- 公开平台的官方电话号码,防止攻击者冒充平台客服。
- 提醒用户手动查看短信收件箱中是否有来自陌生平台的验证消息。
关于信托决策
为了有效降低人工智能驱动的深度伪造攻击带来的风险,引入有效而强大的身份验证技术至关重要。这包括针对ATO和其他欺诈性申请采取预防措施。
TrustDecision 通过集成端点风险识别功能、活体检测算法和图像异常检测功能,提供全面的反应用程序欺诈解决方案。我们的解决方案套件包括 KYC++ 和应用程序欺诈检测,旨在应对演示攻击和注入攻击等高级生成式 AI 技术产生的身份欺诈风险。通过利用这些创新工具,企业可以降低欺诈损失加剧的风险,保护其运营和资产。






.jpeg)

