2月29日，tyc8722太阳集团城对表颁布《2024人为智能安全汇报》（以下简称《汇报》）。《汇报》以为，人为智能技术的恶意使用将急剧增长，在政治安全、网络安全、物理安全和军事安全等方面组成严沉威胁。

    《汇报》揭示了基于AI的12种沉要威胁，同时赐与应对建议。凭据《汇报》，2023年基于AI的深度伪造诓骗暴增了3000%，基于AI的垂钓邮件增长了1000%；目前已发现有多个有国度布景的APT组织，利用AI执行了十余起网络攻击事务……

    但目前，业界对AI潜在风险的钻研与器沉水平仍远远不及，《汇报》以为，在积极拥抱大模型等人为智能技术之时，各界对其安全风险应维持警醒。

    01

    大模型引爆AI热潮

    双刃剑效应显露

    2022年以来，以ChatGPT为代表的大说话模型（Large Language Model，LLM）AI技术急剧崛起，后续的进展可谓一日千里，迎来了AI技术利用的大发作，展示出来的能力和成效震惊世界。IDC调研显示，67%的中国企业已经起头索求 AIGC 在企业内的利用机遇或进行有关资金投入。IDC预测，2026年中国AI大模型市场规模将达到211亿美元，人为智能将进入大规模落地利用关键期。

    《汇报》以为，“AI是一种通用技术，通用就意味着既能够用来做功德，也能够被用来干坏事”。拥有巨大潜力的AI技术同时带来两大重要挑战：一是放大现有威胁，另一个是引入新型威胁。tyc8722太阳集团城预计，未来十年，人为智能技术的恶意使用将急剧增长，将在政治安全、网络安全、物理安全和军事安全等方面组成严沉威胁。

    钻研发现，人为智能已成攻击工具，并带来火烧眉毛的威胁，有关的网络攻击频次越来越高。数据显示，2023年基于AI的深度伪造诓骗暴增了3000%，基于AI的垂钓邮件数量增长了1000%；tyc8722太阳集团城威胁谍报中心监测发现，已有多个有国度布景的APT组织利用AI执行了十余起网络攻击事务。各类基于AI的新型攻击种类与伎俩不休出现，甚至出现泛滥，蕴含深度伪造（Deepfake）、黑产大说话模型、恶意AI机械人、自动化攻击等，在全球造成了严沉风险。

    在当前波谲云诡、风高浪急的国际局势下，急剧发展的AI带来了越发复杂和难以预测的军事威胁，蕴含有关兵器系统的误用、滥用甚至恶用，导致战争不成控性增长。例如人为智能被用在“机械人杀手”等致命性自主兵器(LAWS)上，可能会导致无差距杀戮。数据显示，2024财年，美国国防部打算增长与AI有关的网络安全投资，总额约2457亿美元，其中674亿美元用于网络IT和电子战能力。

    02

    AI引入或放大12种威胁

    业界对AI风险器沉不及

    《汇报》深刻钻研了基于AI的深度伪造（Deepfake）、黑产大说话模型基础设施、利用AI的自动化攻击、AI兵器化、LLM自身安全风险、恶意软件、垂钓邮件、虚伪内容和活动天生、硬件传感器安全等12种沉要威胁，对其技术道理、风险情况、真实案例等进行了深刻的分解，旨在让业界更全面的意识到AI遍及带来的两大重要挑战：一方面放大了现有威胁，好比垂钓邮件、恶意软件和社会工程学等；另一方面是引入了新型威胁，如AI自动化攻击、AI深度伪造等。

    以AI兵器化为例，据法新社2月10日报路，以色列军队初次在加沙地带的战斗当选取了人为智能（AI）军事技术，蕴含AI驱动的对准器和无人机等.引发了人们对现代战争中使用自主兵器的忧郁。这些技术在粉碎敌手的无人机，并被用于绘造哈马斯组织在加沙的重大隧路网络地图等。这仅仅是AI兵器化、加剧军事威胁趋向的冰山一角。

    《汇报》以为，AI与大说话模型自身陪伴着安全风险，业内对潜在影响的钻研与器沉水平仍远远不及。全球驰名利用安全组织OWASP颁布大模型利用的十大安全风险，蕴含提醒注入、数据泄漏、沙箱不及和未经授权的代码执行等。此表，因训练语料存在不良信息，导致天生的内容不安全，正持续引发苦难性的后果，风险国度安全，公共安全甚至幼我安全，这些都亟需业内的高度器沉和积极应对。

    03

    AI威胁该若何应对？

    行业亟待加强监管 推动安全范式刷新

    《汇报》从安全行业、监管机构、政企机构、网络用户等群体角度，给出了应对AI威胁的建议。

    安全行业

    必要持续阐扬能力优势，确保人为智能自身的安全性，并积极利用人为智能用于安全防护；

    监管机构

    必要对AI潜在风险与影响维持持续关注，在造度和律例上实时提供支持；

    政企机构

    需实时部署AI安全框架和解决规划，以及AI安全评估服务和检测工具，还要依附AI推动安全升级；

    网络用户

    在尝试最新人为智能利用的同时，同样必要更新安全知识，形成优良的安全习惯。

    面对AI网络攻击、AI兵器化等日益严格的安全威胁，《汇报》以为，AI技术将会推动安全领域产生范式刷新，全行业需启动人为智能网络防御推动打算。新一代AI技术与大说话模型扭转安全匹敌格局，将会对地缘政治竞争和国度安全造成深远的影响，列国在竞相加强在人为智能领域的竞争，以获得面向未来的战术优势。全行业需启动人为智能网络防御推动打算，蕴含利用防御人为智能匹敌恶意人为智能，旋转“防御者困境”。

    tyc8722太阳集团城AI安全专家以为，一个影响深远的新技术出现，人们通常偏差于在短期高估它的作用，而又持久低估其影响。当前，攻防双方都在严重地索求AI杀手级的利用，数月甚至数天就出现沉大的变动。专家提醒，无论监管机构、安全行业，还是政企机构，都必要积极拥抱潜力巨大的AI技术与大模型，同时审慎评估其影响的不确定性，确保监管与治理实时跟进，不能先上车再补票。