【AI】立教大、フーリエ変換を用いて大量のメモリが不要な画像認識の新手法を開発 [すらいむ★]
立教大、フーリエ変換を用いて大量のメモリが不要な画像認識の新手法を開発
立教大学は2月6日、音声や画像のような信号を異なる周波数の成分に分解する数学的手法「フーリエ変換」を用いて、「グローバルフィルタ」と「注意機構」のメリットを兼ね備えた、大量のメモリを必要としない新しい画像認識手法を開発したことを発表した。
（以下略、続きはソースでご確認ください）
マイナビニュース 2024/02/07 15:23
https://news.mynavi.jp/techplus/article/20240207-2879063/
プレプリント
FFT-based Dynamic Token Mixer for Vision
https://arxiv.org/abs/2303.03932 分かりやすく言うと絵を見て和音が聴こえるようなものか こりゃすげええええ！！！
アフォのようにコンボリューションコンボリューション
いやリカレントだ！GANだ！トランスフォーマーだ！！！
とメモリドカ食いの連続で画像解析してたところで
「畳み込みのフィルター自体を動的生成したら？」
だもん
そしてそのフィルター生成に、画像タイプごとにフーリエ変換を使うか
https://github.com/okojoalg/dfformer
こちらにgithub
今や論文と同じくらいgithubのリポジトリが大事だな 生成AIだとU-netという方法で逆畳み込みなんて方法も使うが
ここでその逆畳み込みのフィルターもフーリエ変換で出来たら面白いがちょっと難しいか？？？
必死になってNVIDIAの独占するVRAMも大きいが値段も凄いGPU買ってたのが
「こんなの4GBのVRAMでいいじゃん」ってなったらそりゃ嬉しい事か 犯罪捜査にも使えそうだな
時代が榊マリ子に近づいてきた。 人間の脳
ほとんどを映像解析の機能をしている
言葉もにおいも触覚も文字や画像や色でデータのやり取りをしている
ブレイン・マシン・インターフェイスの読み取りは映像を読み取っていることになる 名古屋大学宇宙地球環境研究所
>>人体から出ている電波は熱放射と呼ばれるもので、体温が関係しています。人体からは、電波だけでなく赤外線も出ていて、サーモグラフという赤外線カメラで人間を撮ると、暗闇でもはっきりと写るのはそのためです。同じように、感度の良い電波受信器の前に手をかざすと、手からの電波を受けることができます。もちろん、その強さは非常に弱いものですけれど。
何となく感じる「気配」の正体？ 「準静電界」とは
>>「人間の体の周囲には、静電気のような、ごく微弱な電界が全身を包むように存在しています。電界の大きさやプラス・マイナスが常に変化しており、これを『準静電界』と呼びます。
>>体の中では、常に微弱な電気が生じている。筋肉を動かす、脳が体に指令を出す、心臓などの臓器が働く、さらには細胞と細胞が情報伝達するといった場面でも、電気的な信号が生まれる。例えば、脳波や心電図、筋電図などは、脳や心臓、筋肉に流れる電気信号を"見える化"したもの。体内で発生する電気信号は、生命活動そのものでもある。このような体内にある微弱な電気が重なり合い、体の外側ににじみ出て、見えない電気のベールで全身を包み込んでいる。これが準静電界だ。
>>準静電界は、電波のように空気中を伝わることはなく、人体の周囲にとどまり、そこで強まったり弱まったりといった変化を繰り返しているという。準静電界は、人間だけでなく、動物や植物など、生物すべてが持っている（生体電位とも呼ばれる）。ただし、非常に弱いので感知するのは難しいそうだ。
上記が理由
非接触型ブレインマシン・インターフェイスが不可能な理由 有りがたいことに>>3-4氏のおかげで大まかに理解できた気がする
固有名詞の細かい部分については解らないけれど
素人なりに理解できた(かどうかは定かではないけれど)ものを要約してみる 今迄は大きな画像でもそのまま解析していたが事前に入力データをフーリエ変換してしまう手法を開発した。
例えば大きなサイズ画像を動的フィルターとして用いる場合
画像を固定値縮小リサイズ→動的なフィルターを自動生成
固定リサイズ画像解析結果(=グローバルな動的フィルター)は共有ライブラリの様に扱えるので
入力データを固定長にして共有ライブラリによって振るいわけが容易&使用メモリの削減を可能としたという具合なのかな
素人の感想なので全く的を得ていないかも。間違っていたら申し訳ないです。 自分も似たようなことを思いついていたのにやられた
……というか画像処理を学んでれば誰でも思いつくわな 光学処理でもって、絵の中の似た部分を検出するというのがずーーっと昔から（半世紀以上前から）
されていたが、光学処理（レンズ）というのは空間光学像のフーリエ変換に他ならない。
畳み込みによる相関検出ができる。 【CEDEC2019】人工知能が敵キャラを育てる！ ディープラーニングを使った次世代のゲームAI開発
https://morikatron.ai/2019/09/cedec2019_luminous-productions/
こちらの開発もさらに進みますか フーリエ変換は画像にも音声にも適用できるのがすごい もしかしたらおおごとかもしれんから俺も確認してみる
まぁあんま期待すんなよ
画像推論のボトルネックはバス転送速度の方にあるから AI付き監視カメラが低コストになって不審者の発見がはかどる訳か 現代でもフーリエ変換なんて古典的手法から新しい技術ができるなんてすごいなあ >>3
>こりゃすげええええ！！！
え？
>アフォのようにコンボリューションコンボリューション
>いやリカレントだ！GANだ！トランスフォーマーだ！！！
>とメモリドカ食いの連続で画像解析してたところで
いや、もともとコンボリューションはフーリエ変換でやるもんで、メモリドカ食いとかしないんだが、どこが凄いんだ？ これさ画像1に対して画像1用の周波数フィルタをかけることがポイントみたいだけど
事前に画像1にどのようなフィルタをかければいいかわかってるのなら
その画像の内容は既にわかってるってことだろｗ
意味あるのかねｗ この画像はなんですか？じゃなくてこの画像から特定の波動を感じますか？だから、あるかないかを判別する医療分野でむちゃくちゃ役に立つと思う。 予めラベルを振ってある物体の画像が存在する部分だけ選ぶとかなら
それで十分だな まったく記事は読んでないが、
今まで画像をピクセルとして解析・学習してフィルタとかにしてたのを、
jpegデータのまま解析・学習しても同じことができちゃいました！って話？ ＞フーリエ変換を用いて
そんなことなら２０、３０年前からやってるかと・・ Transfomerとか使ってるから20年前なんて姿形ないかと… りんごの画像ならりんごわと認識させてそこだけ処理するんじゃないの？ りんごAの場合
ナシなどと区別するための
色相中央値フィルターと形状中央値フィルターなどでりんごか否かを判別し
りんごAがりんごであれば中央値フィルターに組み込まれて精度を向上させるのかもしれない 逆にリンゴAがリンゴであるのにも関わらずリンゴではないと判断された場合
局所最適解フィルターなり特異点フィルターに組み込まれるのかもしれない 触ってきたけどDockerビルドするのにすげーメモリ必要でDockerfile書き換えいるかった
あとcapabilityも
んで改造しようと思ったら1000クラス分類特化みたいなコーディングでめんどくさくなってやめてきた ＞改造しようと思ったら1000クラス分類特化みたいなコーディングでめんどくさくなって
転移学習も何も出来んのか 
