【話題】海外の技術者が日本語の「文字化け」を本気で解説、日本人顔負けの日本通っぷりが披露される [すらいむ★]

**すらいむ ★** · 2021/11/03(水) 16:48:08.92

海外の技術者が日本語の「文字化け」を本気で解説、日本人顔負けの日本通っぷりが披露される

　文字が適切に表示されずに読めなくなってしまう「文字化け」は、海外の技術者の間でも「Mojibake」で通用するとのこと。
　そんな文字化けの種類について、東京で自然言語処理(NLP)の開発をしているポール・オリーリ・マッキャン氏が解説しました。

　A Field Guide to Japanese Mojibake
　https://www.dampfkraft.com/mojibake-field-guide.html

　マッキャン氏によると、文字化けは作成した時と異なる文字コードで文書を開くことで発生するとのこと。
　文章が文字化けすると無意味な文字列になってしまうので読めませんが、どのような文字コードが使われたかによって異なるパターンが表れるので、慣れると使われている文字コードの種類を推測することができるそうです。

（以下略、続きはソースでご確認下さい）

Gigazine 2021年11月02日 20時00分
https://gigazine.net/news/20211102-mojibake-field-guide-japanese/

**名無しのひみつ** · 2021/11/03(水) 16:52:15.06

最近は文字化けっつうよか数式化けが多いと思う

**名無しのひみつ** · 2021/11/03(水) 16:56:30.26

ノーベル賞まだあ

**名無しのひみつ** · 2021/11/03(水) 17:01:39.58

中国の漢字になってるのが
イライラする

**名無しのひみつ** · 2021/11/03(水) 17:12:45.02

html文がそのままブラウザに出ちゃったり

**名無しのひみつ** · 2021/11/03(水) 17:14:02.32

カタカナ、ひらがな　漢字　ローマ字　まだあるが、
こんなに多数の文字を使う日本語って、国際的には
一寸変では？　
　川端康成がそれが日本語の表現を支えると言っていたが
ノーベル文学賞はローマ字しかない、英米の方が圧倒的に多い。
　そろそろ改革する天皇が現れないかな、
　文字覚えというムダがなくなったら学問が進歩すると思う。

**名無しのひみつ** · 2021/11/03(水) 17:20:16.72

からだ、カラダ、体、體、karada、身体
微妙にニュアンスが違うような

**名無しのひみつ** · 2021/11/03(水) 17:25:16.39

鬼詰のオ刃

**名無しのひみつ** · 2021/11/03(水) 17:26:03.56

>>6
文字が少なくなれば、覚えなきゃいけない単語の数が増えるだけだろ

**名無しのひみつ** · 2021/11/03(水) 17:28:50.18

>>6
因果関係と相関関係は別。日本語「だから」ノーベル賞が少ないわけではない。
そして「ちょっと」を「一寸」と書くあなたも日本語の多様性を受け入れている。

**名無しのひみつ** · 2021/11/03(水) 17:36:40.33

>>7
その違いを感じ取れる貴方は
日本語上級者です。

**名無しのひみつ** · 2021/11/03(水) 17:36:52.45

ちょっと先は闇、とは言わんやろ
単なる変換の癖に依存するだけで多様性の問題とは無関係

**名無しのひみつ** · 2021/11/03(水) 17:41:16.04

帰国子女とか漢字苦手でバカっぽくて笑える。

**名無しのひみつ** · 2021/11/03(水) 17:46:11.07

メーラーのサンダーバードが、先日のアップデート後文字化けするようになったなぁ…。
文字コードの指定ができなくなってて、アドオンいれないと駄目とかになってた。

監視装置からの自動メールで、文字コード指定をcontent-typeにしていない古いタイプだったのが原因なので、
まぁ古いししかたないんだろうけど、ないがしろにされてるな、と思ったもんです。

**名無しのひみつ** · 2021/11/03(水) 17:47:31.54

役所からダウンロードした書類様式が中華フォントな事がちょいちょいあって苛つく

**名無しのひみつ** · 2021/11/03(水) 17:57:22.01

>>12
>ちょっと先は闇、とは言わんやろ

言わない。でも
>一寸変では？
は「ちょっと」と読む。少なくとも読める。

>単なる変換の癖に依存するだけで

だからその癖が存在する時点で。

**名無しのひみつ** · 2021/11/03(水) 17:59:48.18

>文字化けは作成した時と異なる文字コードで文書を開くことで発生するとのこと

いや、そこはみんな知ってると思う

**名無しのひみつ** · 2021/11/03(水) 18:01:39.38

>>17
日本人ならね…。
欧米人に理解させるのは大変よ。概念が無いんだもの。

といっても実は欧州でも米国と異なる文字コード領域あったりするから、
詳しい人はなんとなく分かるかもしれない。

**名無しのひみつ** · 2021/11/03(水) 18:03:02.54

そもそも「寸」は尺貫法の廃止で使うべきではない単位
現代風に言うと「1ミリも」となるべきで、それこそ多様性というべきだが、
「ちょっと」が「1ミリ」と変換されない時点で多様性と呼べるような多様性は存在しない

**名無しのひみつ** · 2021/11/03(水) 18:03:24.71

>>6
天皇になんかそんな難しいことできるわけがない
今の日本語の体系をいったん完全にぶっ壊さないと。

できるのは政界の「壊し屋」小沢一郎（東北比例復活）と　
NHKをぶっ壊そうとしてる立花氏しかいないね。

**名無しのひみつ** · 2021/11/03(水) 18:04:09.01

>>6
おまえは本当に馬鹿だなあ。
アルファベットは文字でも綴りが膨大にあるだろ？

**名無しのひみつ** · 2021/11/03(水) 18:09:34.57

最近は勝手に中国漢字のフォントに置き換わるのがイライラ。

**名無しのひみつ** · 2021/11/03(水) 18:10:31.85

>>19
>>現代風に言うと「1ミリも」となるべきで、それこそ多様性というべきだが、

すでにこの表現は登場している。
定着はしていないだけで。
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q14136076384

**名無しのひみつ** · 2021/11/03(水) 18:12:20.30

>>19

そして本題からずれている。

**名無しのひみつ** · 2021/11/03(水) 18:13:13.20

CADデータやり取りするとしょっちゅう有る

**名無しのひみつ** · 2021/11/03(水) 18:14:10.54

志賀直哉は終戦後に日本語廃止してフランス語にしようと
言った記録がある。

**名無しのひみつ** · 2021/11/03(水) 18:15:26.28

>>23
ちょっとは一寸
それでいいじゃないの

**名無しのひみつ** · 2021/11/03(水) 18:15:28.70

>>19
なぁ、「ミリ」って何だと思う？
ミリグラム？ミリメートル?ミリリットル？それともミリシーベルト？
千分の一って意味しか無いんだよ、単位の接頭辞だから。

単位についてうるさく言うくせに、分かってないんじゃねーの。

とはいえ、「ちょっと」って意味で使うには向いてるってことではあるけどね。
日本語で言うなら「一毛もない」って言葉と一致する。毛は千分の一だからね。
「一毫もない」でも良いらしいけども。毛と毫は一緒。

**名無しのひみつ** · 2021/11/03(水) 18:16:06.03

「裏世界ピクニック」が出てるあたり....

**名無しのひみつ** · 2021/11/03(水) 18:16:25.41

>>19

さらに揚げ足
>そもそも「寸」は尺貫法の廃止で使うべきではない単位

計量の場で使ってはいけない。というだけのことだし、今は単位の話をしているわけではない。

**名無しのひみつ** · 2021/11/03(水) 18:18:27.83

ウリナラにはハングル一文字しかないニダ　　(⌒∇⌒)

**名無しのひみつ** · 2021/11/03(水) 18:19:06.92

>>19
「海底二万マイル」という本のタイトルを
「海底32186.88キロメートル」にしたら味気ないだろ…。

言葉と単位は別なんだよね。取引に使うことは禁じられてるが文学的表現が禁止されることはない。

ところで海底二万哩のマイルは海里だろうか。
だとしたら「海底37040キロメートル」が正しいタイトルになるが・・・

**名無しのひみつ** · 2021/11/03(水) 18:20:56.40

>>32
地球の裏側に出てしまうｗ

**名無しのひみつ** · 2021/11/03(水) 18:22:09.11

>>33
掘るなｗ
ちょっと斬新な解釈で驚いてる。。。

**名無しのひみつ** · 2021/11/03(水) 18:27:12.24

>>1
ｼｺﾀﾎｱ!

**名無しのひみつ** · 2021/11/03(水) 18:27:37.01

ハングルって長方形に文字化けするよね？

**名無しのひみつ** · 2021/11/03(水) 18:29:40.62

いや、普通の話だろ
コードが違うんだから

馬鹿なのか？

**名無しのひみつ** · 2021/11/03(水) 18:34:40.57

>>6
それは絶対にやってはいけないしやらない
韓国人はバカで歴史が無いから漢字を廃止したが漢字廃止の弊害に悩まされて最近復活させた
おまえも韓国人同様バカだからデメリットに全く思いが及ばないわけだw
情けないやつw

**名無しのひみつ** · 2021/11/03(水) 18:37:53.35

>>20
アホか。小沢なんて無学だし立花はさらに無学
どうしてできると思うのかアホ丸出し
天皇には背後に膨大なブレーンが控えてるから号令かければできる
憲法が縛りをかけてるから現実には表立ってはできないがな

**名無しのひみつ** · 2021/11/03(水) 18:39:25.79

>>7

確かに違う
小説などでは特に、作風に関わってくると思う
発音する登場人物の人格やタイプも表現できる

**名無しのひみつ** · 2021/11/03(水) 18:40:30.16

https://i.imgur.com/4w0TJtv.jpg

**名無しのひみつ** · 2021/11/03(水) 18:50:38.28

慣れると分かるようになるのか
すげーなｗ

**名無しのひみつ** · 2021/11/03(水) 18:58:34.25

>>6
まあそのことは文字化けとは関係無いけどね

**名無しのひみつ** · 2021/11/03(水) 19:00:42.86

文字化けの縺って高確率で入ってるの見るたびなんか面白い

**名無しのひみつ** · 2021/11/03(水) 19:03:47.75

５ｃｈとかコソアンとかの文字化けは昔はコード変えれば読み書きできたが今は通用しないのが多い

**名無しのひみつ** · 2021/11/03(水) 19:04:24.56

まあ文字化けはエンジニアの領域だから国籍はあまり関係ないと思

**名無しのひみつ** · 2021/11/03(水) 19:09:57.99

決めた。
卒論の研究テーマ。

**名無しのひみつ** · 2021/11/03(水) 19:11:12.49

>>7
肢体というと、艶かしいイメージ

この艶って字は中々にエロいが、ゲシュタルト崩壊すると全くエロくない

って感覚、外国人にはわからんだろうね

**名無しのひみつ** · 2021/11/03(水) 19:25:40.98

「縺」「繧」「繝」「縲」
糸偏四天王

**名無しのひみつ** · 2021/11/03(水) 19:40:31.74

インターネット老人会のわしに言わせれば
UTF8のお陰でだいぶ文字化け問題は解決されたもんじゃよ
異体字とか微妙な問題は残ってるが25年前の文字化け地獄と比べたら天国じゃ

**名無しのひみつ** · 2021/11/03(水) 19:44:35.16

通だね通だね通だね

**名無しのひみつ** · 2021/11/03(水) 19:49:50.53

>>1
どこら辺に日本通っぷりが披露されてるのか掠ってもいなくてソースへ誘導されても・・・

**名無しのひみつ** · 2021/11/03(水) 19:59:31.41

モウジベーク

**名無しのひみつ** · 2021/11/03(水) 20:24:55.36

異体字が同じコードだったり別のコードだったりして、てのが解けない問題なのかな。

**名無しのひみつ** · 2021/11/03(水) 20:25:03.86

SMSのPDU解読は大変やった。
最近は良くなったけど。

**名無しのひみつ** · 2021/11/03(水) 20:42:40.17

>>33
いいセンスだね。

**名無しのひみつ** · 2021/11/03(水) 20:51:30.14

具志堅用高

**名無しのひみつ** · 2021/11/03(水) 20:52:47.43

linuxとか使ってると日本語環境でもいまだに文字化けするからな
何度改善されてもアップグレードされるとアルファベットの事しか考慮されない仕様に巻き戻る
''$'\343\203\200\343\202\246\343\203\263\343\203\255\343\203\274\343\203\211'
''$'\343\203\206\343\203\263\343\203\227\343\203\254\343\203\274\343\203\210'
''$'\343\203\207\343\202\271\343\202\257\343\203\210\343\203\203\343\203\227'
''$'\343\203\211\343\202\255\343\203\245\343\203\241\343\203\263\343\203\210'
''$'\343\203\223\343\203\207\343\202\252'
''$'\343\203\224\343\202\257\343\203\201\343\203\243'
''$'\343\203\237\343\203\245\343\203\274\343\202\270\343\203\203\343\202\257'
''$'\345\205\254\351\226\213'

あ · 2021/11/03(水) 20:59:57.36

アラビア文字のキーボードってどんなんだろう

**名無しのひみつ** · 2021/11/03(水) 21:11:18.38

アラビア語はアルファベットと同じでしょうね。
ただ母音のaが色々変化するって言うか表記が難しい？
コーラン見ると母音についた点とかで区別するらしいけどあまりよく知らない。
アラビア文字は昔、少しかじったけどだいぶ忘れたな。
右から左に読むアルフベットと同じ。

**名無しのひみつ** · 2021/11/03(水) 21:35:51.43

💩💩💩💩
…

…
文字に化けるかな？

**名無しのひみつ** · 2021/11/03(水) 21:53:34.42

>>61
うまそうニダ

**名無しのひみつ** · 2021/11/03(水) 22:27:36.66

>>6
国際的、変、ノーベル賞、英米、圧倒的、改革、天皇、ムダ、進歩、
ある種の人々には説得力持つのかもね

**名無しのひみつ** · 2021/11/03(水) 22:37:43.17

似てるからって中国の文字当てはめたのは狂ってると思ったよ
英語の文中でBがキリル文字のБになってたらどう思うんよ

**名無しのひみつ** · 2021/11/03(水) 22:39:00.38

>>7
体が胴体の身を指すことがあるが、
體・躰は基本的に全身のみだね。

**名無しのひみつ** · 2021/11/03(水) 22:39:10.58

>>7
それまでにこれらの語が使用された文章を多数読んでいた場合にニュアンスの微妙な差を自分なりに解釈する事が出来る
筆者の意図とは合致しないかも知れないがw
音韻は全て同じ(“ら”にrを用いるべきでは無い事はここでは置いとき)とすれば、これはあくまでも視覚の問題
そこから平仮名のなまめかしさの理由も浮かんで来る
等々面白いですこの辺

**名無しのひみつ** · 2021/11/03(水) 22:42:30.81

>>19
愚鈍な理系さん？
でもそこがいいところだよw

**名無しのひみつ** · 2021/11/03(水) 22:52:02.82

>>18
ロシア語も２つはコードがあるね。
しかも、コード違っても文字になるケースがあるが
単語になってないので「？？」ってなる。
これも慣れれば違うことに気付くんだろうね。

**名無しのひみつ** · 2021/11/03(水) 23:09:37.46

:e enc=なんて今でも打たせるな。
日本語打てないOSなんていらん。JASTSYSTEMがちゃんとOS作れ。

**名無しのひみつ** · 2021/11/03(水) 23:14:09.12

>>32
・原題直訳＝「海底２万リュー」
・１リュー（lieue）=4km（1795年以降）＝日本の１里（偶然の一致）

**名無しのひみつ** · 2021/11/03(水) 23:47:15.95

>>66
わかりやすい！

**名無しのひみつ** · 2021/11/03(水) 23:50:46.76

アルファベットのフォントって26文字作れば完成なんだよね
それに比べたて日本語…

**名無しのひみつ** · 2021/11/04(木) 00:14:07.38

文字列を扱うプログラムを学び始めたとき
文字コードが分からないテキストは
全部の文字コードでエンコードデコードして元通りになった文字コードが正解というやり方を聞いて全然スマートじゃないと思った・・

**名無しのひみつ** · 2021/11/04(木) 07:54:19.84

一寸法師をちょっと法師とは言わんやろ
むしろ1ミリ法師の方が今の人間にはイメージしやすい
言葉は時代ととともに変わっていくのが本来で、アップデートできずに古い表現に固執する感性こそ問題視されるべき

**名無しのひみつ** · 2021/11/04(木) 08:53:38.34

左道

**名無しのひみつ** · 2021/11/04(木) 08:55:03.65

>>74
それをリアルで言ってバカにされなければお前が正しいんだろ

**名無しのひみつ** · 2021/11/04(木) 08:55:58.68

IE 使用時はたまにあったな

**名無しのひみつ** · 2021/11/04(木) 09:12:58.82

>>67
理系をバカにしなさんな。理系ならミリメートルをミリなんて略したりしないよ。

**名無しのひみつ** · 2021/11/04(木) 09:21:36.18

　
姦酷語ってボキャが絶対的に少ねーから、
コンセプチャル・ワークや文芸表現が不得手なんだよなー。
.
だから劣等バカチョンは、思考を通わせたり掘り下げて考えることができねーばかりか、
「唸らせるような感想」すら書けない。
.
しかもハングルには受身形がないんだぜ（苦笑）
受身形がないとどうなるか？
相手にどう思われるかを「考えないで」好き勝手に発言する。
そんな文字通りのバカ丸出しチョンな相手と話が通じあえる訳がねーわｗ

おまけに表音文字だけでしか表記しないので、文意を捉えることすら難解ｗｗｗ
.
ここまでまぬけな劣等言語って、OECD諸国じゃ姦酷だけだろー
↓こんな感じになっちまうんだぜｗ

カンコク　ゴ　ッテ　ボキャ　ガ　ゼッタイ　テキ　ニ　スクネー　カラ、
.
コンセプチャル・ワーク　ヤ　ブンゲイ　ヒョウゲン　ガ　フエテ　ナンダヨ　ナー。

ダカラ　レットウ　バカチョン　ハ　、
.
シコウ　ヲ　カヨワセ　タリ　ホリ　サゲテ　カンガエル　コト　ガ　デキネー　バカリ　カ　、
.
「ウナラセル　ヨウ　ナ　カンソウ」スラ　カケ　ナイ。

シカモ　ハングル　ニ　ハ　ウケミケイ　ガ　ナイ　ン　ダ　ゼ。
.
ウケミケイ　ガ　ナイ　ト　ドウナルカ？
.
アイテ　ニ　ドウ　オモワレ　テル　カ　ヲ「カンガエ　ナイ　デ」スキカッテ　ニ　ハツゲン　スル。

ソンナ　モジ　ドオリ　ノ　バカ　マルダシ　チョン　ナ　アイテ　ト　ハナシ　ガ　ツウジ　アエル　ワケ　ガ　ネー　ワｗ
.
シカモ　ヒョウオン　モジ　ノ　ハングル　ヒョウキ　ナノデ、ブンイ　ヲ　トラエル　コト　スラ　ナンカイｗｗｗ
.
ココマデ　マヌケ　ナ　レットウ　ゲンゴ　ッテ　、　OECD　ショコク　ジャ　カンコク　ダケ　ダロー

**名無しのひみつ** · 2021/11/04(木) 09:29:13.37

全ての文字を、1文字につき固定長4バイトで表すようにすれば、
物事は簡単になる。可変長コードとか、コード切り替え方式による
文字や文字列の処理はコードの複雑さやバグの温床になる。
OSもライブラリもアプリケーションも文字を固定長4バイトにすべきである。
どうしても容量が気になるところ、通信やファイルへの保存のところでは
やりたければ圧縮をかければ良いだけ。計算機の速度やメモリの容量が
倍々ゲームで増加してきたのだから、文字のデータサイズが4倍になった
としても、それは1度限りのことだから気にしなくても良いはずだ。

**名無しのひみつ** · 2021/11/04(木) 09:44:42.05

ファイルは共通言語的なもので作成しておいて読む人が自国言語に変換するのがいいんじゃね

**名無しのひみつ** · 2021/11/04(木) 19:00:31.66

>>26
シェー!!

**名無しのひみつ** · 2021/11/04(木) 22:24:11.96

>>74
>言葉は時代ととともに変わっていくのが本来で、アップデートできずに古い表現に固執する感性こそ問題視されるべき

余計なアップデートはシステムに負担をかけるだけ。

**名無しのひみつ** · 2021/11/04(木) 23:22:06.97

>>74
一寸は3cmだけどなあ

**名無しのひみつ** · 2021/11/05(金) 07:20:44.11

ちょっとの虫にも五分の魂とは言わんやろ
調べたら一寸は30ミリくらいだから3cmの昆虫の五分=1.5cmで体長の半分が魂とか何訳の分からんこと言うてんのや
「ちょっと変」は3cmだけ変なのか？
おかしいやろ、そんなん

**名無しのひみつ** · 2021/11/05(金) 07:55:14.60

>>58
ubuntuだとどうもwindowsと同じコードになってるっぽい

そんなことより愛知県で猫に似た茶色い謎の生物が目撃されているようだ
顎が尖っていて猫ではなさそうだが、犬を威嚇したりしているという

**名無しのひみつ** · 2021/11/05(金) 07:59:17.84

>>78
だが天気予報では何ミリの雨とかいいやがるんですが
１時間に５０ミリの雨だとかなり激しいそうな
だがこの場合のミリはミリメートルだったでござる

**名無しのひみつ** · 2021/11/05(金) 08:02:30.56

文字コード統一しろよ

**名無しのひみつ** · 2021/11/05(金) 08:31:03.50

文章が文字化けすると無意味な文字列になってしまうので読めませんが、どのような文字コードが使われたかによって異なるパターンが表れるので、慣れると使われている文字コードの種類を推測することができるそうです。

この世で最も要らないスキル

**名無しのひみつ** · 2021/11/05(金) 10:06:25.83

>>69
だけど誰もJustWindowを支持しなかったんだぜ

**名無しのひみつ** · 2021/11/05(金) 10:27:54.09

>>74
まず一寸法師読んでこい
お前は圧倒的に教養が足りてない

**名無しのひみつ** · 2021/11/05(金) 12:20:57.76

一寸ていう単語だけで議論になるとかお前ら外国人かなんかか

**名無しのひみつ** · 2021/11/05(金) 13:32:39.98

>>92
おかしいのは1人だけ。一寸をちょっとと読む「こともある」と理解できない、言語に「尺貫法はだめ」と主張するやつな。

**名無しのひみつ** · 2021/11/05(金) 13:36:58.95

>>85
を読めばわかるがものの例えを理解できないやつな。

**名無しのひみつ** · 2021/11/05(金) 19:50:39.50

Linux環境でのzipファイルの展開なんて普通にやると確実に文字化ける
unar -e shift_jis ./files.zip
みたいに毎度コマンド打たなきゃならない
最近作られたファイルですらシフトジス指定で展開せにゃならんてなんなんよな
圧縮する時にwindows側で自動的にシフトジスが使われるんだろうけど

**名無しのひみつ** · 2021/11/05(金) 23:35:38.81

だいたいsjisが悪い

**名無しのひみつ** · 2021/11/06(土) 01:46:10.72

>>6
これアルファベットが26文字しかないから効率的っていうけど
真逆なんだよな
人間は生得的に文字を認識する脳内回路があるわけてはなく
他者の顔を認識する相貌認識の脳内回路を流用して文字を認識してる
進化の過程で他社の顔を見分けられないと死ぬので相貌認識は発達しててほぼ無尽蔵に他人の顔を覚えられるのが人間
だからたった26文字しか使ってない英語圏のほうがリソースを効率的に使ってないという事も言えるわけだ
実際は綴りとかの問題もあるし、一概に言えないし、そもそも一長一短があるから優劣と言うものも決められないわけだがね

**名無しのひみつ** · 2021/11/06(土) 22:08:53.76

FireFoxなどのブラウザで、URLを入力する欄で、URLに日本語が入って
表示されているとき、それをマウスを使ってテキストファイルにカットアンド
ペーストをすると、ブラウザで表示されていたのとはまるで違うぐちゃぐちゃの
わけの分からない文字列になってしまうので、とても不便だ。
あれは一体どうなっているのだろうか？
たとえば、以下のようにURLが表示されたりあるいは入力できるのに、
　　ja.wikipedia.org/wiki/日本
その文字列をコピーアンドペーストでメモ帳などに展開すると
以下のようになる。
　　ja.wikipedia.org/wiki/%E6%97%A5%E6%9C%AC
わけがわからん。

**名無しのひみつ** · 2021/11/07(日) 01:03:16.67

いまどきエスケープコードを８ビットにしてるからおかしなことになるのさ
文字エンコードの違いを理解出来ないバカなプログラマーを全員クビにするのもいいかも

**名無しのひみつ** · 2021/11/07(日) 04:40:43.03

>97
認識の区切りはおそらく可変長