【IT】コンピューターで全漢字使用可に ６万字コード化
■ このスレッドは過去ログ倉庫に格納されています
日本語の漢字は、戸籍などに使われているものも含めると６万字あるのに対し、コンピューターは、実は１万字しか扱うことができません。これに対し、このほど１５年越しの作業の末、６万字すべてが統一の規格にまとめられて、コンピューターがすべての漢字を扱えるようになり、ビッグデータの活用をはじめさまざまな効果が期待されています。
コンピューターで文字を扱うには、１つ１つの文字に、「コード」と呼ばれる世界共通の番号を割りふる必要がありますが、日本語の漢字で、コードが割りふられているのは１万字だけで、コードが無く、コンピューターが扱えない「外字」は、戸籍で使われているものをはじめおよそ５万字に上っています。
中には、メーカーなどが独自に対応した外字もありますが、コードが無いために、メーカーごとの互換性が無く、データを受け渡してもコンピューターが認識できずに「文字化け」してしまったり、ある人の名前に本名の外字を充てたものと略字を充てたものの２つのデータがあった場合、コンピューター上では、別の人と認識されてしまったりするなどの問題が起きていました。
このためＩＰＡ＝情報処理推進機構は平成１４年から、経済産業省とともに外字を含めたおよそ６万字の漢字１つ１つに、コードを割りつける作業を進めた結果、このほど１５年越しでようやく完了し、国際規格として登録されました。
この結果「日本語の壁」の１つが取り払われ、外字が使われた名前を正確に表示できたり、地名を含むビッグデータを正確に分析できたりするなどの効果が期待されています。
ＩＰＡの田代秀一参与は「日本人にとって、名前は大事なアイデンティティーで、戸籍では尊重されているがコンピューターが追いついていなかった。文字を正確に扱えるようにすることは、今後ますます重要になる」と話しています。
漢字とコンピューターのこれまで
戸籍で使われている文字のうち例えば「渡辺」の「ベ」は「辺」「邊」「邉」など１１種類、「斉藤」や「斎藤」の「サイ」は「斉」「斎」「齊」「齋」などおよそ６０種類ありますが、このうちコンピューターが扱えるのは「べ」は３文字、「サイ」は１５文字ほどです。
また「吉田」の「ヨシ」のつくりが「土」になっている漢字も外字です。日本で初めて漢字のコードが作られたのは昭和５３年のことで、当時はコンピューターの能力が低く大量のデータを扱えないことなどから登録された漢字は、およそ６０００字でした。
その後、昭和５４年に世界初の日本語ワープロが発売されるなど家庭や企業でパソコンが普及して、さまざまな漢字を扱う必要が出てきましたが、コードの整備は進まず、コードのない漢字は、それぞれのメーカーがばらばらに作っていました。
現在は、およそ１万字の漢字にコードが付いていますが、いまだに特定のソフトでなければ表示できない漢字もあり、対応が急がれていました。
企業や自治体も一苦労
外字の問題は、さまざまな企業だけでなく自治体の課題としても浮かび上がっています。
東京・表参道にある手紙用品店では、結婚式の招待状や席次表の印刷を手がけていて、名前に外字があった場合は、手書きで紙に書いてもらい、市販のソフトが対応しているかどうか調べています。
対応していない漢字は、作画ソフトを使って一画一画を手作業で書いていて、これまでにおよそ２４０字をこうした方法で対応したということです。
手紙用品店の吉澤まどかさんは「結婚式は、お祝い事なので、誤字脱字がないのはもちろんお名前の一画一画を大切にして間違いがないように心がけています」と話しています。
一方、福島県相馬市では、東日本大震災のあと、「り災証明書」の発行に必要な被災の状況を迅速に把握するため住民基本台帳にある名前や住所を電子地図に取り込もうとしました。
ところが、外字が含まれていたため、地図上で文字化けして黒い点になってしまい、手作業でのデータの修正を迫られたということです。
https://www3.nhk.or.jp/news/html/20171224/k10011270111000.html >>258
たぶん 使う人が 口を改造して使ってたからもしれない 辺とか斎の異体字は、戸籍を書いた役人の書きぐせに過ぎないのにな。先祖代々引き継いだと勘違いしてる奴が多い。活字にした時点でそんな異体字は全て廃止しろよということ。 日本語の漢字は、戸籍などに使われているものも含めると６万字あるのに >>263
それは戸籍を管理する人たちの仕事で
漢字の文字集合を整理する人の仕事ではありません
過去に戸籍がデジタル化された以上
それらを文字符号化においてどう扱うか考えないといけないのです ちなみに上にも書いたが
住基ネットは二万字に圧縮した >>256
なら普通の人でも使う漢語数万を全く顧みないのはなぜ？ >>262
国際標準ではないからな。
自分だけの特殊な文字コード使っても、メールも送れない。 >>264
もっとある。
戸籍が六万字と言われるが、大半が単なる間違いだ。 そのうち中国の簡体字が使われ出すよ。簡体字もコード化されてるの？ Androidアプリは日本の漢字と簡体字がごっちゃになった字体が使われたりしてる
ああ、いかにも海外の人が作ったんだなあって MSIMEも中国人が日本の処理ソフト作っているらしく、
変換が無茶苦茶。フランス人に英語のスペルチェックソフト作らせてるようなもんだよ >>270
コードになってないから、使えないだろ？
知らないの？ >>271
当たり前。
使われますではなくて、すでにUnicodeで全部正式採用済みだ。
20年くらいお前の頭は遅れている。 >>273
貧乏な日本人は金出さないから、日本人のためにシステムは作らないそうだ。 >>277
諸橋の大漢和にあるのだけで5万を超えている。
これには戸籍のために追加した4万余は入っていない。
つまり、以前からの一万余をたしても三万程度の漢字がUnicodeからは落ちてることになる。
実際、Unicodeと大漢和は2万程度しか連関していないから、この数字には間違いがない。
コード化されてるなんてまやかしは言うなよ？
コード化されていると言う意味ならUTF32だって趙漢字だってコード化されている。
使わないコード化に意味はない。 そもそもバカな役人の書き間違えで誕生した異体字なんか抹殺すべきだろ >>279
書き間違いなのか、何らかの意図、由来があっての事なのか、今さら調べるのが大変すぎる気がするのと
実際に消える方の字体を使ってる人の反発もかなりあると思う。
わたなべさんでも「渡辺」「渡邉」「渡邊」とメジャー所で三つあるけど
DMの宛名ですら怒ってくる人が結構居るのよ。
高井さんも、口ダカさんと、梯子ダカさんだったり、吉田さんも上が士か土か。
個人情報を扱う仕事してたけど、この辺気にする人はめっちゃ気にする。
しかも年配の人だけじゃないのよね。
名前に対するアイデンティティって、実は世代関係なく結構気にされる。
そして間違い様の無い名前の人には、この感覚は全くわからないのでタチが悪い。 ＞＞コンピューターは、実は１万字しか扱うことができません
この書き方は頭悪そう ワタナベ と サイトー、ヨシダ という連中はほんとに周囲の迷惑を考えないわがままだよな。
最近はこいつらに、ツジ も加わって、おれの辻のしんにょうは、1点辻だ、2点辻だ、とか言いくさって。
特に、渡邊と渡邉は、普通の文字検索ではそれぞれ別に検索しないとひっかからないのがうざい
ワタナベ姓の奴がどうしても統一したくなくて違いにこだわりたいんなら、全部を 「ワタナベA」 「ワタナベB」 「ワタナベC」 とかにしろ。
これなら周りの人間は検索の不便から解放される。 >>282
辻はXPまでは一点でVistaから二点という、謎修正もあって余計にタチが悪い。
サーバー側が古くてプリンタ用の画像をサーバーで作ると一点になるとか、現場で混乱したよ。
浜田さん、濱田さん、濵田さんもそうだし、国も旧字体の國の人もいたり
異体字や旧字体のある漢字って、思ってた以上に大量にある。
これを統一するのは、かなり反発が強そうだ。 >>5
もう対処済み
APFSではファイル名の変換は行われないようになった
あとは各アプリの対応待ち >>1
> 「渡辺」の「ベ」は「辺」「邊」「邉」など１１種類、
「なべ」じゃねーのかよｗｗ
じゃあ「渡」は「わたな」か？そんなバナナｗｗｗｗｗ いまWin10にインストールというか
ダウンロードして解凍後に、
フォントフォルダーに明朝とゴシックの二つを放り込むだけで使えるようになった。
以下がダウンロードサイト。
https://ipafont.ipa.go.jp/node17 これ規格化されたのか。
まあそれは良いので、今後は無駄文字は使用禁止にしろよ >>288
それ入れてない環境だと文字化けするんだろばかばかしい
余計なものは使わないほうが良い >>289
わたべ、だ。わたなべ、じゃない。
インストール出来た気がしたけど、出来てなかったみたい。うーん残念。 >>15
> そもそも1/3ぐらいは誤字なんだから
> 元の正しい漢字に戻せばいいんだよ
ほんと、これ。
手書き時代は、単なる書体や個人の癖のバリエーションだったものまで、
「違う字」ということにして、自己満足以外のメリットがない。
上の方で「文化」とか言ってる奴がいるが、
文化は、書体（字体）の違いとしてやっていればいい。 Unicodeが使えない昔の機械だと常用漢字外は略字しか出ないってのも多い
手書きが難しい例えである「醤」だって「將」でなく「将」に「酉」なら何ら難しくもない >>293
コンピュータ上で書体(字体)の違いを扱うにはどうすればよいのでしょうか。
文化もコンピュータで扱いたいのだけど。 >>293
どの字が書き間違いで、どの字が意図的なものなのかが、今さら遡りようがないだろう。 >>279
根本的に理解できてない
過去に電子化したデータがあれば
そこで使えた文字はどういうものだったかデータベース化しないといけない
戸籍が電子化された時点で>>1は必然
いくら何でも多すぎだから
制限するにはどうすればいいか
それも既に終わってる
住基ネットで行われた
三周くらい遅れてる そして、収録されていない新しい漢字が発掘されて、再び仕事をつくる。
これが、IPAのデジタル詐欺という、永久機関。 >>298
15年も無駄に掛けたこの文字コードは何週遅れてるんだよ >>273
欧米中心だと
ローカライズはあくまでアジアの括りでしかやってくれないよ
unicodeのCJKVとかがいい例 >>301
最終的には16bitじゃ収まらないんだから
16bitから始めて、サロゲートペア、異体字セレクタと進んできたのは、
今の視点で見れば、そう悪くなかったと思える
CJK統合はちょっとうまくない統合もあるけどね >>295 >>297
「文化」は、役所の事務には要らない。
人名地名の管理は、文化なんて無視してやればいい。 >>304
役所のためにコンピュータがあるわけでは無い。 この程度で「全漢字」なんて言うのはNHKのバカ記者だろう >>1
漢字のほうを簡素にしろよ。
斎藤の斎の字だけでもたくさんあるし、
ツヨシ君の「草○」だって「ナギは～」ってのまで書かなきゃでマスゴミも大変だろ。
「澤」も「沢」に統一すりゃ面倒がなくていいのに。 8000字登録で幽霊文字がいくつも出来たのに
六万字とか ぎゃあぎゃあうるさい客を黙らせるには、こんなアプローチしかなかったんだよ
ちなみに、異体字セレクタで指定するように実装されているので、コードが増えたわけではない
心配なソートや検索には少し機能追加して、異体字区別オン/オフ機能を持たせればいい >>310
ああ、フィルタリング出来るなら実害は無いか。
選択肢が多いってのも考えものではある。 >>295
そういうときは、テキストではなく、画像で表現するでしょう。 >>313
文字コードを与えられていないと文字として処理するのが不便です。
検索とかその文字を使って文章を書くとか。 >>315
各自が作ったファイルで共通の処理ができるの？ >>316
異体字セレクタやフォント指定使えば問題なし 昭和の映画や看板には誤字のままレタリングしたようなのが結構見られる >>318
読み方もわからない漢字を探すとか苦行でしかない >>321
誰も手書きの話なんかしてないわこのアホウ >>9
バカ自慢しつつなぜかマウンティングｗ
底辺の無知蒙昧無敵ｗｗｗｗｗ >>1
これで異字体を実質的に廃止する機会を失った
後世にまで残る極めて悪質な判断
こういう事に労力をかけるのは無駄！無駄！無駄！
こんな無駄な事してるから日本はいつまでたっても非効率なんだ >>329
開発してる当事者らは社会の役に立ってると思い込んでるから救いようが無い http://www.chokanji.com/ckk/images/press/ckkvar03.png
コンピューターで異字体の検索が困難にならないように異字体同一視検索出来る様にするのは本末転倒
意味が同一であるなら表記も一つにすべき
文字の本来の意義は伝達である
伝達を困難にする文字の個性はいらない
個性を出したいならフォントで出せ
それが情報化社会における漢字のありかただと考える 異字体のうち誤用により生まれた文字は
即刻なくすべき
戸籍も同様に変更（正しい漢字とみなす）にすればいい
本人の文句は受け付けない、と >>338
誤用や書き損じが元になってるかどうかの判断はいまさら難しいが、字体や意味が同じまたはほとんど同じなら
一つの漢字に統一すべきだろうな
本人以外区別が付かない字に意義は無い
>>339
過去なんかどうでもいい問題は未来だ >>280
結局みんな、旧字体戦後に新字体になったのを拒否しただけの人だろ
ほとんどの人は、新字体の渡辺に変えたんだから役所は新字体だけに統一すればいい >>340
未来についても終わってる>>298
住民基本台帳ネットワーク統一文字
UCS
好きな包摂基準のを使えばいい >>341
そんなことしたければ
対応表使って正規化すればいい
君の設計するシステムでは >>345
なぜバカなのかすらわからないならレスする意味も無い >>347
昔の人が字の細かいところをうろ覚えで書いてた結果がこれか
なので全体の形はどれもよく似てる 半角文字や制御コードとの兼ね合いで、2バイトでは6万字は表せない
細かな字体の違いをコード化するためにUnicodeみたくバイト数増やすのか？
動画とかは無圧縮との違いが目立たないようにデータ切り捨ててるのに ■ このスレッドは過去ログ倉庫に格納されています
