【セキュリティ】LLM の推論機能を活用する新しいバックドア攻撃「DarkMind」が提唱される [すらいむ★]

**すらいむ ★** · 2025/02/21(金) 23:19:57.89

LLM の推論機能を活用する新しいバックドア攻撃「DarkMind」が提唱される

　セントルイス大学のZhen Guo氏とReza Tourani氏がLLM(大規模言語モデル)の推論能力を利用した新しいバックドア攻撃「DarkMind」を提唱し、実証しました。

　[2501.18617] DarkMind: Latent Chain-of-Thought Backdoor in Customized LLMs
　https://arxiv.org/abs/2501.18617

（以下略、続きはソースでご確認ください）

Gigazine 2025年02月21日 16時00分
https://gigazine.net/news/20250221-darkmind-chain-of-thought/

**名無しのひみつ** · 2025/02/22(土) 07:03:21.70

>>1
LLMは銀行取引や医療サービスなど、重要なウェブサイトやアプリケーションに統合されつつあります。DarkMindのような攻撃は、これらのシステムの意思決定プロセスを検出されることなく操作できる可能性があり、深刻なセキュリティ上の脅威となり得ます。

**名無しのひみつ** · 2025/02/22(土) 07:04:25.80

>>2

成功確率が５０％前後付近のはまづい

**名無しのひみつ** · 2025/02/22(土) 08:07:59.11

へえ上手いやり方を思いついたもんだ
これは流行りそうだし対策は一大産業になりそう

> GPT-4oやO1といった最新のLLMに対しては、算術的推論で90％以上、常識的推論で約70％、記号的推論で95％以上という高い攻撃成功率を示しました。特にGPT Storeなどのカスタマイズされたモデルプラットフォームでは深刻な脅威となる可能性があり、研究者たちは効果的な防御メカニズムの開発を課題として指摘しています。

**名無しのひみつ** · 2025/02/22(土) 08:23:56.00

> LLMは銀行取引や医療サービスなど、重要なウェブサイトやアプリケーションに統合されつつあります。

これがそもそもの脆弱性だと思うんだけどなあ
AIは人間と同じように間違うし、人間とは違うところでも間違うんだからさあ

**名無しのひみつ** · 2025/02/22(土) 22:30:37.18

LLMは糞
9.9と9.11どっちが大きいか聞いたら自信満々に9.11だと答えやがった

**名無しのひみつ** · 2025/02/24(月) 09:47:47.95

こういう発表で手口広めてマッチポンプしてるよね

**名無しのひみつ** · 2025/03/17(月) 22:23:51.74

意図した操作というよりは無効化できるってことなのかな
AIを活用しすぎて人員を減らした場合にこれが発動すると詰むようになるんだね
しばらくはお目に掛かることはないものではあると言うことも出来るのかもしれないけど、どうなんだろうか