【IT】コンピューターで全漢字使用可に 6万字コード化

1ノチラ ★2017/12/25(月) 04:50:46.68ID:CAP_USER
日本語の漢字は、戸籍などに使われているものも含めると6万字あるのに対し、コンピューターは、実は1万字しか扱うことができません。これに対し、このほど15年越しの作業の末、6万字すべてが統一の規格にまとめられて、コンピューターがすべての漢字を扱えるようになり、ビッグデータの活用をはじめさまざまな効果が期待されています。

コンピューターで文字を扱うには、1つ1つの文字に、「コード」と呼ばれる世界共通の番号を割りふる必要がありますが、日本語の漢字で、コードが割りふられているのは1万字だけで、コードが無く、コンピューターが扱えない「外字」は、戸籍で使われているものをはじめおよそ5万字に上っています。

中には、メーカーなどが独自に対応した外字もありますが、コードが無いために、メーカーごとの互換性が無く、データを受け渡してもコンピューターが認識できずに「文字化け」してしまったり、ある人の名前に本名の外字を充てたものと略字を充てたものの2つのデータがあった場合、コンピューター上では、別の人と認識されてしまったりするなどの問題が起きていました。

このためIPA=情報処理推進機構は平成14年から、経済産業省とともに外字を含めたおよそ6万字の漢字1つ1つに、コードを割りつける作業を進めた結果、このほど15年越しでようやく完了し、国際規格として登録されました。

この結果「日本語の壁」の1つが取り払われ、外字が使われた名前を正確に表示できたり、地名を含むビッグデータを正確に分析できたりするなどの効果が期待されています。

IPAの田代秀一参与は「日本人にとって、名前は大事なアイデンティティーで、戸籍では尊重されているがコンピューターが追いついていなかった。文字を正確に扱えるようにすることは、今後ますます重要になる」と話しています。

漢字とコンピューターのこれまで
戸籍で使われている文字のうち例えば「渡辺」の「ベ」は「辺」「邊」「邉」など11種類、「斉藤」や「斎藤」の「サイ」は「斉」「斎」「齊」「齋」などおよそ60種類ありますが、このうちコンピューターが扱えるのは「べ」は3文字、「サイ」は15文字ほどです。

また「吉田」の「ヨシ」のつくりが「土」になっている漢字も外字です。日本で初めて漢字のコードが作られたのは昭和53年のことで、当時はコンピューターの能力が低く大量のデータを扱えないことなどから登録された漢字は、およそ6000字でした。

その後、昭和54年に世界初の日本語ワープロが発売されるなど家庭や企業でパソコンが普及して、さまざまな漢字を扱う必要が出てきましたが、コードの整備は進まず、コードのない漢字は、それぞれのメーカーがばらばらに作っていました。

現在は、およそ1万字の漢字にコードが付いていますが、いまだに特定のソフトでなければ表示できない漢字もあり、対応が急がれていました。
企業や自治体も一苦労
外字の問題は、さまざまな企業だけでなく自治体の課題としても浮かび上がっています。

東京・表参道にある手紙用品店では、結婚式の招待状や席次表の印刷を手がけていて、名前に外字があった場合は、手書きで紙に書いてもらい、市販のソフトが対応しているかどうか調べています。

対応していない漢字は、作画ソフトを使って一画一画を手作業で書いていて、これまでにおよそ240字をこうした方法で対応したということです。

手紙用品店の吉澤まどかさんは「結婚式は、お祝い事なので、誤字脱字がないのはもちろんお名前の一画一画を大切にして間違いがないように心がけています」と話しています。

一方、福島県相馬市では、東日本大震災のあと、「り災証明書」の発行に必要な被災の状況を迅速に把握するため住民基本台帳にある名前や住所を電子地図に取り込もうとしました。

ところが、外字が含まれていたため、地図上で文字化けして黒い点になってしまい、手作業でのデータの修正を迫られたということです。
https://www3.nhk.or.jp/news/html/20171224/k10011270111000.html

227名刺は切らしておりまして2017/12/27(水) 07:06:37.06ID:IGXu64ec
>>223
それを言ったらMS-DOSだってCP/MとUNIXのパクリじゃん

228名刺は切らしておりまして2017/12/27(水) 09:31:00.88ID:uhKPw0Wu
>>227
そう
だからHuman68kもMS-DOSも時代の先端だったことはない

229名刺は切らしておりまして2017/12/27(水) 09:40:06.01ID:uhKPw0Wu
>>33
規格には沿ってるようで沿ってない
NFDにわざわざ変換してるのに
すべての局面で正規化が行えてるわけじゃないから
メディアなどで持ち込まれたNFCのパス名との扱いしがうまくいかない場面がある
Windowsで作られたメデイアで同ファイル名を上書きしようとすると
見た目は同じだけどNFDの別のファイルが増えてしまったり

230名刺は切らしておりまして2017/12/27(水) 09:41:40.62ID:uhKPw0Wu
>>229
書き忘れたが
これはUnicode処理系不適合な動作
いい加減にしか実装出来ないんだったら最初から正規化なんかするなと

231名刺は切らしておりまして2017/12/27(水) 13:08:31.12ID:7+7mS1Cx
もう文字コード増やすのやめようよ

232名刺は切らしておりまして2017/12/27(水) 16:47:43.83ID:vEb1Y3gQ
むしろ、斎藤の「斎」や渡辺の「辺」などの異体字を廃止しろよ。その方が世の中のためになる。

233名刺は切らしておりまして2017/12/27(水) 17:35:55.86ID:MVoWJ3es
>>232
するのは勝手なんで
国だろうが会社だろうが
勝手にやってもらって構わないが
古典や資料のデジタルテキスト化があるから
>>1のような規格化は進める必要がある
庶民は関係ないがね

234名刺は切らしておりまして2017/12/27(水) 20:14:05.98ID:Umyi3jYE
>>1
もうカタカナがひらがなでいいだろ

235名刺は切らしておりまして2017/12/28(木) 05:28:25.25ID:dX3yygfX
で実際に使えるようになるのはいつからだよ

236名刺は切らしておりまして2017/12/28(木) 05:56:05.90ID:fscEd+h5
名前は個人のアイデンティティにつながるものだ
それと、日本は本家以上に漢字を活用し造語し学問や文化を磨き上げてきた

字面だけ見てラテン系が簡素でわかりやすいと思っている御仁は重大な誤りを犯している
まして、たった26文字云々などとの発言は愚かにもほどがある
他言語圏に対する冒涜でもある

237名刺は切らしておりまして2017/12/28(木) 06:03:38.72ID:fscEd+h5
世の中にはそれぞれの専門性というものがある
それをちょっとのぞいただけの門外漢は何でそんな無駄で辛気くさいことやらなきゃならないんだと思うことが多い
科学技術や学問でも職人仕事でも同じ
数多の専門の積み重ねと発展が人類の文化だし、それが豊穣な世界を構築している

最近ホリエモンもどきのちゃぶ台返しみたいなこと言って粋がっているのが多いな
ところでホリエモンはなぜちっぽけなロケットを飛ばしているのだろうか

238名刺は切らしておりまして2017/12/28(木) 08:53:58.39ID:aQVdzdZp
英語を公用語にする
これに尽きる
世界の先進国がどんな言語なのか考えろ
新聞の縦書きも非効率

239名刺は切らしておりまして2017/12/28(木) 09:00:31.84ID:zVvmx+tX
>>191
手書き文字にはその程度の揺れ幅があるのが当たり前で、別の文字として扱う方が馬鹿なんだよ。

240名刺は切らしておりまして2017/12/28(木) 20:28:35.01ID:X5gQgL6M
>>238
【朗報】 ABC証明の望月新一さん 反英語の日本語主義者だった
https://leia.5ch.net/test/read.cgi/poverty/1513428896/

241名刺は切らしておりまして2017/12/28(木) 20:48:51.54ID:fdeZ9v4C
超漢字の必要がなくなるってこと?

242名刺は切らしておりまして2017/12/30(土) 09:04:40.64ID:aY2nevxr
>>238
結局それが方言を守るんだよね

243名刺は切らしておりまして2017/12/30(土) 10:18:01.66ID:SAe00T2c
>>238
>世界の先進国がどんな言語なのか考えろ
アメリカ語、フランス語、ドイツ語、スウェーデン語、日本語、etc
で、それがどうかしたのか?

244名刺は切らしておりまして2017/12/30(土) 21:30:46.15ID:OyfmNcaK
>>236
誤字や自分で新しく作った字でアイデンティティって何なんだよ。

245名刺は切らしておりまして2018/01/11(木) 18:10:09.23ID:od9LLcKP
60000文字の登録に15年かけたのか。
1日11文字だな

246名刺は切らしておりまして2018/01/12(金) 16:22:48.20ID:mUcSkqSy
>>238
今更新聞の改善とかとかw

247名刺は切らしておりまして2018/01/12(金) 17:42:57.44ID:K0fQNeS4
「競」と「護」が同じ20画に見えない

248名刺は切らしておりまして2018/01/12(金) 18:29:30.11ID:JUJIbd+3
>>247
同文字の画数一致は総務省包摂基準書の用語で言えば「字形一致」ということになる
JIS X 0208では字形一致なら同じ字とみなしている

戸籍統一漢字の場合は
字形一致していて
上の基準書では「デザイン差」とみなせる場合でも
別の文字になるケースがある
戸籍の完全なデジタル化には必要な区別
戸籍で別の文字として扱ってるから

それじゃやりすぎだけど人名知名表現にはJIS X 0213じゃ足りないという人には
住基ネット統一漢字というのがある
これは二万字

249名刺は切らしておりまして2018/01/12(金) 18:42:24.30ID:2n1bhlIF
俺がめんどくさいから漢字を減らせと言う身勝手な意見

250名刺は切らしておりまして2018/01/12(金) 19:21:10.36ID:JUJIbd+3
>>249
別に身勝手ではなくて
そういう応用のために包摂基準等が制定されていて
どの字を同じと見なせばいいかデータベース化されてる
包摂していい字は内部的には一文字に正規化すれば良い
今回のデータベースが出来た事で
戸籍の方面から外部データが来ても問題なし

251名刺は切らしておりまして2018/01/12(金) 19:39:46.57ID:QIfY5a15
>>76
あるね。「土`方」とか。
「冨田」とか。

こういう明らかな誤字は、正しい漢字に修正する方向で。

なんで誤字にコードを割り振るのか理解に苦しむ。

252名刺は切らしておりまして2018/01/13(土) 02:41:06.39ID:lL4a0418
>>251
普通に使われている文字はコンピュータでも使いたいから。

253名刺は切らしておりまして2018/01/13(土) 15:12:06.62ID:PVy9D4JR
>>251
冨田さんが「むしろ富が誤字だ!」と言って譲らないから。

254名刺は切らしておりまして2018/01/13(土) 15:28:01.27ID:eLyYdWzz
>>252
斎藤や渡邉の異字の大半は普通の字ではないぞ。

そもそも本人以外違いがわからないのが大半。

255名刺は切らしておりまして2018/01/13(土) 15:50:09.90ID:7+M/OcaV
「令」の字も教科書体と明朝体では違うせいか
おくやみ欄では「鈴」の字が教科書体っぽい字画の明朝体で載ることが多い

256名刺は切らしておりまして2018/01/13(土) 18:02:17.83ID:lL4a0418
>>254
じゃ、紙の上で使われている文字はコンピュータ上でも使いたいから、に変える。

257名刺は切らしておりまして2018/01/14(日) 00:02:23.47ID:rrRKJtRe
>>251
> コードを割り振る

文字集合の制定と文字符号化方式の制定は別の話なんだけど
規格書では同時に定義している事が多いから混乱したまま使ってる人が多い用語

258名刺は切らしておりまして2018/01/14(日) 13:51:25.59ID:/aGWD2eY
「高橋」は全国で3番目に多い名字なのに
はしご高の方が使えない従来の文字コードって何だろな

25992018/01/14(日) 14:36:54.35ID:+f1mcoJr
「」なら出せるぞ

260名刺は切らしておりまして2018/01/14(日) 17:36:30.88ID:prw6udRQ
>>258
たぶん 使う人が 口を改造して使ってたからもしれない

261名刺は切らしておりまして2018/01/14(日) 17:41:51.15ID:prw6udRQ
 本当だ出そうと思えば出せる

262名刺は切らしておりまして2018/01/14(日) 22:03:50.42ID:oV4C8qMf
超漢字 今昔文字鏡とかあるのに

263名刺は切らしておりまして2018/01/15(月) 09:52:14.30ID:9ofs7BlM
辺とか斎の異体字は、戸籍を書いた役人の書きぐせに過ぎないのにな。先祖代々引き継いだと勘違いしてる奴が多い。活字にした時点でそんな異体字は全て廃止しろよということ。

264名刺は切らしておりまして2018/01/15(月) 13:54:34.77
日本語の漢字は、戸籍などに使われているものも含めると6万字あるのに

265名刺は切らしておりまして2018/01/16(火) 20:28:55.19ID:mAf3RZvx
>>263
それは戸籍を管理する人たちの仕事で
漢字の文字集合を整理する人の仕事ではありません
過去に戸籍がデジタル化された以上
それらを文字符号化においてどう扱うか考えないといけないのです

266名刺は切らしておりまして2018/01/16(火) 20:30:35.91ID:mAf3RZvx
ちなみに上にも書いたが
住基ネットは二万字に圧縮した

267名刺は切らしておりまして2018/01/16(火) 20:33:39.00ID:zuE3Jl91
>>256
なら普通の人でも使う漢語数万を全く顧みないのはなぜ?

268名刺は切らしておりまして2018/01/16(火) 20:34:33.06ID:zuE3Jl91
>>262
国際標準ではないからな。

自分だけの特殊な文字コード使っても、メールも送れない。

269名刺は切らしておりまして2018/01/16(火) 20:35:10.35ID:zuE3Jl91
>>264
もっとある。

戸籍が六万字と言われるが、大半が単なる間違いだ。

270名刺は切らしておりまして2018/01/16(火) 20:41:13.78ID:mAf3RZvx
>>267
何が蔑ろにされているというの?

271名刺は切らしておりまして2018/01/17(水) 08:09:35.91ID:OqsrLspB
そのうち中国の簡体字が使われ出すよ。簡体字もコード化されてるの?

272名刺は切らしておりまして2018/01/17(水) 19:55:55.38ID:Rf6H/aPV
Androidアプリは日本の漢字と簡体字がごっちゃになった字体が使われたりしてる
ああ、いかにも海外の人が作ったんだなあって

273名刺は切らしておりまして2018/01/18(木) 06:45:45.26ID:VuN2+Wny
MSIMEも中国人が日本の処理ソフト作っているらしく、
変換が無茶苦茶。フランス人に英語のスペルチェックソフト作らせてるようなもんだよ

274名刺は切らしておりまして2018/01/18(木) 21:01:30.17ID:BOlxwCCE
>>270
コードになってないから、使えないだろ?

知らないの?

275名刺は切らしておりまして2018/01/18(木) 21:02:22.96ID:BOlxwCCE
>>271
当たり前。
使われますではなくて、すでにUnicodeで全部正式採用済みだ。

20年くらいお前の頭は遅れている。

276名刺は切らしておりまして2018/01/18(木) 21:02:58.83ID:BOlxwCCE
>>273
貧乏な日本人は金出さないから、日本人のためにシステムは作らないそうだ。

277名刺は切らしておりまして2018/01/19(金) 11:32:16.22ID:Dw97Tdl6
>>274
使えない漢字は数万字もないよ

新着レスの表示
レスを投稿する