【ＡＩ/画像処理/古文書】AIで日本史研究者やマニアが狂喜乱舞する「くずし字」の翻訳ツールが開発[07/12]
■ このスレッドは過去ログ倉庫に格納されています
AIで日本史研究者やマニアが狂喜乱舞する「くずし字」の翻訳ツールが開発（記事全文は、ソースをご覧ください。）
https://pc.watch.impress.co.jp/docs/news/1195499.html
2019年7月11日 12:12
PC Watch,Impress,インプレス,笠原 一輝
【科学(学問)ニュース＋】
https://pc.watch.impress.co.jp/img/pcw/docs/1195/499/001_l.jpg
（画像）くずし字で書かれた古文書を手に持つ情報・システム研究機構 データサイエンス共同利用基盤施設ROIS-DS人文学オープンデータ共同利用センター 特任研究員 および 国立情報学研究所 タリン・カラーヌワット氏
Googleは都内のオフィスにおいて、「Solve....with AI」というアジア太平洋地域の記者などを集めたイベントを開催し、Google Cloud Platform(GCP、Googleのパブリッククラウドサービス事業)などを通じて提供している各種のAIサービスやTensorFlowなどの機械学習(マシンラーニング)ベースのAIを開発するツールなどのソリューションや、その具体的な利用事例などを紹介した。
このなかで、情報・システム研究機構 データサイエンス共同利用基盤施設ROIS-DS人文学オープンデータ共同利用センター特任研究員および国立情報学研究所のタリン・カラーヌワット氏は、日本語の古文書で一般的に使われている「くずし字」を自動で読み取って現代語に翻訳(正確には翻刻)するOCR「KuroNet」を開発し、Webブラウザ上で実行可能な機械学習ライブラリとなるTensorFlow.jsとしてくずし字の文字認識が可能になるようにしたと説明した。
【お詫びと訂正】本AIの開発にはGoogleの技術も用いられていますが、AI自体をGoogleが開発したと誤解を招く表現がありましたので、お詫びして訂正させていただきます。また、このプロジェクトの作業内容は正確には翻訳ではなく翻刻と呼ぶのが正しいので、その旨付記をいたしました。
・百数十年前までは皆が読めていた「くずし字」。今は人口の0.01%以下しか読めないという現実
https://pc.watch.impress.co.jp/img/pcw/docs/1195/499/002_l.jpg
（画像）くずし字と現代語、確かに現代人からすると日本語なのに読めない
7月10日にGoogleの東京オフィスで行なわれたイベントに登壇した情報・システム研究機構 データサイエンス共同利用基盤施設ROIS-DS人文学オープンデータ共同利用センター 特任研究員 および 国立情報学研究所 タリン・カラーヌワット氏は、「日本では1千年にわたりくずし字という筆記体の文字を使ってきた。しかし、現代の印刷システムではそれを使うことは難しく、20世紀に入って現代語へと変換が進められてきた。その結果、くずし字で書かれた数百万の古文書や古書が現存するが、それらは人口の0.01%以下の人しか読むことができない」という問題を指摘した。
https://pc.watch.impress.co.jp/img/pcw/docs/1195/499/003_l.jpg
明治時代に印刷システムの要求から筆記体のくずし字から現代語への転換が図られた
たとえば江戸時代の古典籍はくずし字と呼ばれる筆記体の日本語で書かれている。文法などは現代語と大きな違いはない(厳密に言うと主語が省略されることが多いなど微妙な違いはある)のだが、そもそも文字が識別できないので読めないという問題がある。
https://pc.watch.impress.co.jp/img/pcw/docs/1195/499/004_l.jpg
（画像）数百万のくずし字で書かれた古文書があるのに人口の0.01%以下の人しか読めないという現実
大学などで専門に歴史を研究している研究者であれば、まずはそのくずし字に関して勉強をして読めるようになる(つまり0.01%以下の1人になる)だろうが、民間の研究者が歴史について学び、研究したいと考えて、1次資料である古文書を読もうとしても、まずはこの「くずし字」が読めないというハードルがある。
■■以下、略 タリン・カラーヌワット女史
タイ生まれ、若い時によんだあさきゆめみしを見て源氏物語にぞっこん
日本語学科を通して日本に留学、くずし字を勉強するも挫折するが
自分で書いてみれば習得できるのではと思いつき、実際に書くことで
くずし字を習得する くずし字の変体仮名は似た字が多いけどちゃんと区別できてるならすごいな >>5
パヨクって日本語しか話せないから日本から出て行けと言われたら自殺するしかないんだね まあ 読めるようになるのはいいけど 一般人が閲覧できるように
しっかりなるかが課題だな 日本はそこが弱いし 隠す傾向が強いｗｗｗｗ
しっかりオープンソースでそうして欲しいねｗ
わたしからは以上だな ミカエル（悟ったもの）より。 >>2
権威主義の専門家が自己の読み間違えを理屈こねて正当化定着とかさせちゃったりしてきたからね。 >>3
ひたすら感謝だわ。ほんとありがとう。
崩し字読めないアマチュア勢も古文書から情報読み取れるようになるから、
色々面白い研究成果が生まれそう。 俺んちもそんな巻物があるんだけど解読できなくてなあ
とにかく在野の歴史マニア歓喜だろ >>3
タイ人→源氏物語→くずし字
こりゃ大変だったろうな
ありがとう >>1
一般公開されれば、いずれ神田の古書街が大にぎわいになるな 一回だけ、この研究員の得意技である松葉くずしをやってみたい。 >>16
松葉くずしとか紅葉合わせとか、むかしのひとは性技を木の葉で例えるように
しとったんだねww すごいなAI。翻訳ツールが何を開発したのか気になる すごいけど日本語で外国人に先越されるなんて日本人なにやってんだよほんと これは素晴らしい、でもこれは文字を解析しただけで翻訳と言えるのだろうか
次は本当の意味での翻訳だな 地味だけどこれは素晴らしい技術ですね
過去の資産を十分に生かせるようになる
焚書したり文字を捨てたりする国は滅ぶ >>3
「あさきゆめみし」って少女漫画ですよね
それを読んで日本漫画オタになったタイ少女の成功物語
ぜひとも映画化してほしい 古文書片っ端から解読して青空文庫に上げてほしい。
で口語訳もAIでやってできるようにして。
で、それらの成果物の著作権とかはどうなるんかな。 >>3
タイ人なのにってより、文系なのにってところで感心するわ。
「好き」って大事だな。
俺も宇宙の研究やりたかった。 日本人研究者は日本語をAIで解読することを邪道と思ってたとか？
あるいは文系研究者はAIで何ができるかわかっていなかったとか
ありがちな話だけどどーなの ネットの認証セキュリティで日本語のくずし字を記入するサイトがあるけれども
あれもやっぱり近い将来にAIに判読されそうだな 明治大正時代の外交文書なんか見てても
官僚が墨で自筆で書いたものは判読が結構厳しい
活字印刷は隔世の感があるね これが正しいAIの使い方だな。
ただ、10年位英翻訳があのままなの見ると絶望だが 現代日本人が読めなくなったくずし字をタイ人が解決するって面白いなぁ
読めないから書くところから始めるとか
めっちゃ地味だけどほんとに好きなんだろうな
感謝 >>2
幕末のちゃんとした人が書いてるのはほぼ現代語で
一部のくずし字がわかれば普通に読めるぞ
特に薩長の文書は読みやすい
ここの役人が明治政府を作って現代語をつくったのがよくわかるわ 韓国は漢字を廃止したから過去の文献を読めないなんてのはウソだから
韓国人だって専門家は読める
また日本人だって専門家しか過去の文献は読めない AIといっても、
大量の古文書の画像データを集めて、マッチングしたものを現代語に変換する、
そんな総当たり的なやり方なんでしょ? ぶっちゃけ、本能寺で信ちゃんやったの、俺なんだよねｗｗｗ
竜馬、すまん。暗殺の首謀者な、実は俺、的な大発見来るか？？ そういえば、英語の筆記体も、知ってるのは日本人くらいらしいな。
ネイティブは筆記体でなんか書かないし、読めない。 >>40
部屋から出るとか出ないとかじゃなく、>>25の感想は普通だと思うよ。
開発者の名前を見て一瞬目が点になったもの。 >>45
看護学校に行った娘が筆記体を習わせられて文句言ってたけど
カルテに筆記体で書く年寄り先生もいるからじゃないの？って言ったら納得してた。 「翻刻」っていう作業らしい
>>49
筆記体じゃなくそれぞれのミミズ字を習得する必要が・・ くずし字読む入門書買ったことあるけどすぐ挫折した
崩し方の幅がありすぎ >>32
日本語は 漢字 ひらがな カタカナ English 0123...9 などから成る
英語は 0123...9 abc...z ABC...Z と少ない
そして現在の書かれた文字の認識は統計アルゴリズム、つまり数学によって実装されている
数学的には、分類する種類の数が大きいほど指数関数的にサンプルデータ必要です
つまり数が必要だったから現実的じゃなかった 文字を判読できるのと意味がわかるのはまた別だからな
今では使わない単語や別の意味で使っている単語があるから
現代語に翻訳する機能も必要 >>46
日本人向けなら読解書とか対応表とかあるだろうし、
古文の文法も中高でやらされるし、ある程度読むなら困らないんだろうな >>45
イギリスに home stay したが、その人は筆記体で手紙くれたよ
イギリスのヨークの人 狂喜乱舞ってバカじゃねえか
日本の学界はなーーーんにもやってこなかったんだろ
なんでガイジンに先越されてんだ
ほんとうにバカの集まりだから学会なんて解体しろよ >>31
初めて買ってもらったPCのおまけで
プログラミングの入門書がついてて、その方面も強くなったらしい
これって文系理系で分ける発想がそもそもなかったからこその成果だよね グーグルドキュメントのOCR精度はここ数年で眼を見張るほど上がって行ってるからな
どんどん便利になるなあ 古文書って古民家に結構眠ってるけど状態悪いと引き取り手は無いし
修復するのに金も掛かるんで結局ゴミとして捨てられることが多い しかし、考えてみると人間の分析能力ってすごいよな。
個人ごとに癖があって異なっている崩し字を昔の日本人は何の苦労もすることなく
スラスラ読めていたんだから。 これで古文書の研究者が失業するのか？
だとしたら大きな改善になるな >百数十年前までは皆が読めていた「くずし字」。
識字率凄いな
＞今は人口の0.01%以下しか読めないという現実
人数として十分じゃね？ >>70
それは朝鮮半島の話。
日本ではすでに江戸時代に多くの人が読み書きできるようになっていた。 マジすげぇ
読める人かなり希少だから今読める人の仕事奪わないし、解読する時間を研究に回せるし、マジすげぇ >>18
「紅葉合わせ」って「貝合わせ」のこと？？ 素人目に圧倒的に凄い。だって読めないもん。
むしろ素人向きな気がする。
プロにとっては稀にある読み取りミスが鬱陶しいだろなぁ。
ちょっとでも誤りがあると全部チェックするしかないしかなりしんどい。
変に文脈・単語から修正とかすると意味が正反対になったりしそう。 >>32
日本人研究者は読めちゃうからイラン。苦手でも周りに読める人がいっぱいいる
困ってるのは一般人と外人で、だから外人が作ったってとこやろ >>82
そこが研究の敷居の高さになってるから、どれだけオープンにするかだね
日本語の文献史学はどんどんノンネイティブの人が参入して欲しい
万葉集とか古いのはネタが尽きて、研究進まんのよ 唯一座学分野でこれだけは母親に負けてるわ。
あの糞ババア草書書けるからな。 女手のひらがな自体草書で崩した書体の表音文字化に過ぎんからな。 古文書解読習得アプリって、これまでも出ていたよね。 >>3
タイ語って読み書きするのがかなり難しいんだよね
文字の発音に法則はあるけど、「結局スペルを丸ごと覚えた方が早い」
とまで言われる
タイ人って特に女性は物凄く勉強するからなあ
そしてハイテクの使いこなしもかなり強い >>61
たぶんお前が思ってる意味で>>31は発言していないぞ
ps://news.yahoo.co.jp/byline/enokieisuke/20190418-00122843/
時間があったら読んでみてくれ
日本の文系研究に対する姿勢について>>31は語ったんだと思う この一人の名前見て
ぬわーーっっ！！
を思い出した人は結構いるはず >>13
筆記体なんて今さら覚える必要あるのかよって中坊の頃に思ってたけど
大学入ったら英語圏の先生は筆記体で板書きするから読めなかったら講義受けられねーぞって脅されてた
でも80年代にはもう博士様すらブロック体で書くと言われていた現実 活字の普及で筆記体が廃れるだけじゃなくて
英語圏では小文字を使わず大文字だけの人も出てきてるらしい
小文字が大文字を小さくしただけのフォントもあるしね
これは日本語だとカタカナを使わないみたいなものかな？ 足利義昭の御内書は楷書で読みやすかった
武田信玄直筆の書状は読みづらかった
くずし字の上、信玄さん明らかに字が下手 >>32時代や人によってくずし字って特徴変わると思うんだけど何でも対応できるんかね？ >>35
日本だと文系はあくまでも文系って人ばっかりだからね。 Clanuwat T. et al. (2018) Deep Learning for Classical Japanese Literature
ttps://nips2018creativity.github.io/doc/deep_learning_for_classical_japanese_literature.pdf ＴＢＳドラマの「ＪＩＮ−仁−」で、現代から江戸時代末期にタイムスリップした主人公がくずし字を読めないため、彼の周囲の人々が主人公でも読める字体で文章を書いたはず。
番組公式設定だったのか、知恵袋などに「現代人がくずし字を読めるのか？」といった質問が投稿されてそんな答えが投稿されたのかは、覚えてないけど。
すでにあったくずし字の文章は、周囲の人々が主人公に説明してあげたのだろう。 くずし字をOCRできるアプリはどこに置いてあるの。
Googleレンズとかで使えれば便利なんだけど。 おかげ様で、AIによるくずし字の現代文字への翻刻の最新研究状況を把握できたかな
情報・システム研究機構 データサイエンス共同利用基盤施設（略称 ROIS-DS）
人文学オープンデータ共同利用センター 特任研究員 で、国立情報学研究所にも籍を持つ
タリン・カラーヌワットさんが、今回、「くずし字」を自動で読み取って現代文字に翻刻する
OCR「KuroNet」の開発を紹介。
くずし字チャレンジ！は、人文学オープンデータ共同利用センターのプロジェクトのようです。
国文学研究資料館が持つくずし字のデータを学習させて、くずし字を現代語に推論できる
システム >>107
高学歴って意味で言えば海外では数学と英語はできて当たり前
その上で何を専攻するかなんだろうけど…
日本は「数学ができないから文系になりました」って人が多いもんね
その延長の妄想で「英語のできない奴が理系になる」と言い出す人が多すぎ >>1
古文献講読を学べば、ひらがなはすぐに読めるようになる
漢字がわからん >>1
もう
・4年前の、凸版印刷Webビューア「ふみのは」とか
・奈良文化財研究所、東京大史料編纂所の
くずし字解読システム「ＭＯＪＩＺＯ」（モジゾー）利用無料 とか
・くずし字学習支援アプリKuLA
とかあるみたいだけど
どう違うんだろ >>114
はあ？
外国人は数学ができないやつ多いぞ 憶えた！と思っても一晩経つとすぐに忘れている。それが崩し字。 >>94
読むのは簡単
書くのは漢字と一緒でその単語を知らないと無理ゲー 西夏文字学の権威の西田龍雄氏が「西夏文字というのは覚えにくく、覚えたと思っても忘れやすい文字だ。」といっていた。
崩し字も全く同じだよ…。俺は崩し字をマスターするにはもう歳なのかな。
江戸時代の人は子供の頃から寺子屋で崩し字を学んできたんだから、こっちは絶対に敵わん。 >>121
AIにできるなら、日本人がちょっと（かなり）頑張ればできそうだけどな 汚い字とくずし字って違う？
汚いじゃなくても「個性」とかゆらぎとか
統一されたものが存在するようには思えないんだが
そうすると文字の意味がなくなるし
やっぱ当時の人がたいてい認識できる程度にはお手本があったんかな >>4
ひとつのひらがなに対して、
崩す元の漢字の数が多すぎて見分けがつきにくいんだよね >>25
在野の郷土史のクラブでも、くずし字の勉強会やってるよ
惜しむらくは、年寄り中心だから、そういう発想がない。 崩し字って何パターンどころじゃなくあるから
それ解ったら凄いよなー
確率何％くらいなんだろう 見た目はまったく同じでも、前後の文脈で決まるものもあるからなあ
とはいえ崩した「馬」とひらがなの「つる」は同じ生き物で判断に悩むがｗ 勉強すれば８割ぐらいは読めるようになるんだよ
で、残り２割の読めないのをＡＩで解読しようと思ってもたぶん読めない 日本史専攻の従姉妹は、ゼミの予習に、おばあちゃんに古文書を読んでもらってた >タリン・カラーヌワット
まぁこの人が優秀なんだろうがタイ人?に先越される日本の研究者とかやっぱ雑魚いな。ジャップwwww 現代語のOCRですら完璧ではないのに、それよりはるかに偏差が激しいと思われる
昔のくずし字を読めるのかねえ。 >>134
言語学は読み取る課程も学問の内だけど
史学や国文学の研究者にしたら、読めるようにした後が本番だものな 古気象学は国文学者がくずし字を読めなくて
結局、気象学者がくずし字の読み方を覚えて過去の記録を集めたって言うなあ 縦割りっていうより深堀しかしない弊害あるよね
無視されてきた貴重な資料がこれで日の目を見るかも知れない くずし字（草書？）のくずしかたのルールは、
くずし字を書いていた人たちは当時どうやって学んだのだろうか？
それぞれ勝手に崩して書いていたのだとしたら、統一性がなくて
お互いのコミュニケーションの役には立たない（自分だけのための
覚え書きとか秘密の日記などなら、どういう具合に崩すかを
勝手にしていても構わないだろうが）。
崩し方の十分な量の見本を与える手本があったのか、
それともそういった規則を系統的に教える教本があったのだろうか？ >>141
書き順じゃないの？
だから「右」と「左」が崩しても区別できる >>141
それは千字文とか往来物とか、お手本がいくらでもあったでしょう。
>>142
実は、日本の近世古文書に限って言うと、草書の「右」と「左」の一画目と二画目の筆順には違いが無い文書の方が多い。
どちらも「横画→縦画」の順序で書いてある方が多い。（中国の伝統的な筆順から言えば間違いだが。）
しかし、中の「口」は横線がウネウネ這うように書かれ、「エ」は縦線が鋭く長く書かれているので、そこで区別する。 中国からもたらされた漢字で書かれたお経の経典は、どういう字体でやってきたのか。
またそれを日本の寺院で写筆したときには、同じ字体で書いたのだろうか、それとも
やはり崩し字にしていたのだろうか？
あとの方の時代になって、日本で適当にでっちあげた仏教の宗派のお経は、
くだけた文字で書かれていたかもしれないなとは思う。（よく知らない）
でも、立派な石碑とか木版活字の本は、崩さずに書いてるよね。
浮世絵などの添え書きの文字はミミズが這っているようなので私には読めない。
いま当時の浮世絵を知るためには、あれを活字に直して絵を修正したバージョンを
出版して欲しい。そうすればもっと今よりも売れるだろう。原作の著作権は切れて
いるから、原稿はローコスト、デジタルにすればオールカラーでもコストはそれほど
高くないだろう。 お経は文字そのものからありがたいものだから
崩すことより装飾性というか美しさを追求したんじゃない？ >>84
門外漢からしたら、万葉集なんてまだ研究する余地あるんだ？って感じ 古文書の講習会を受けたことあるけど難易度高いわ
候が点々だもん 行書までならね
さすがに草書まで崩されたら読めんわ AI技術って一時騒がれてたのが嘘かってくらい進歩しなくなったな ねぇ、あんた！
…「あんた」…ヘブライ語でも「あなた」って意味なんだよ。どうなってんだよ、古代の言語は。
神道っていったい何なの、本当に不可解だよ、ユダヤ人や、世界の人が見たら、これ何、どうゆうこと。
さらにもっと大変なことは、宮司や神主、いったいあれは誰なの、あの服装、私たちと繋がりはないです。
なんでご神体を皆が担いでワッショイ、ワッショイと言うんですか、ヘブライ語ですよ、ワッショイというのは。
://www.youtube.com/watch?v=4YvD2TDOZJM
紀元前にすでに文字が存在？
://twitter.com/nhk_news/status/1171181541319499776
ベルギー人 「気味が悪いくらい似てる理由をどう説明するんだ」
アメリカ人 「日本人はユダヤ人の子孫かって？ この類似性をみれば一目瞭然だ」
イスラエル人「ゾクッとした、奇妙な感じ。なぜに俺はこんな情報を今までしらなかったんだ」
イスラエル人「発音まで同じだとしたら、ちょっと凄すぎじゃないか？」
ロシア人 「日本人はヘブライ文字を簡単に覚えられそうじゃん」
http://lavender.5ch.net/test/read.cgi/gengo/1564551857/l50
https://twitter.com/5chan_nel (5ch newer account) >>104
втмкнみたいな
これはキリル文字だけどな まあくずし字サンプルを多数集めてそれぞれにラベル振った
データセット作ればいい「だけ」の話
とはいっても、毎日毎日文字を集めるだけでも大変だっただろう >>41
>韓国人だって専門家は読める
これは嘘 朝鮮半島の文語体は支那語で漢字で書いた 朝鮮語の漢字は一切無い
だから
X 韓国人だって専門家は読める
○ 繁体字が読めれば チョンが読めなくても支那人は読める 計算機がまともに動き出したころの50年前に、源氏物語の全文を計算機に打ち込んだ奴がいる
統計的な検索分析をして分析した結果
昔からそれとなく言われていた 宇治十条が 紫式部とは 別人が書いた文体というのが明確になった あんな癖のある字、当時の人も読めたのかな？って思う。 その時代の人間が一番合理的な情報伝達手段として「崩し」を選択した
と言う信念のもと20年以上古文書やってる
けれど何とか江戸期の「お家流」が苦もせず読める程度
近世以外の例えば信長や秀吉の往来物となると取っ掛かりを掴むのさえ苦労する
さらには最も難解と言われる明治以降の「女筆」に至っては見るのも億劫だ
たぶんAIさんがいくら頑張ってもこれらパターンの埒外の解読は不可能
断言するが筆者の癖字や符丁的言い回しが介入したものには歯が立たないと思う ■ このスレッドは過去ログ倉庫に格納されています
