手話とマルチモーダル（もっとがんばれGPT-4oくん）

「ちょっと話聞いてほしいんだけどさ」
「どしたん？」
「前回に引き続きGPT-4oの話なんだけど」
「うん」
「『4oはマルチモーダルだ』って聞いたんで何か試して日記に書こうと思って、最初に浮かんだのが手話だったんだよね」
「てかマルチモーダルってなんだっけ？」
「たとえばチャットのAIってのは、文字情報を扱うわけじゃん？でも逆に言うと文字情報だけ。マルチモーダルっていうのは『文字とか画像とか音声とかいろんなのを組み合わせてやり取りできますよ』ってこと。マルチなモードでこんにちは、みたいな」
「ええやん」
「で、いろんなのが組み合わせってやり取りするなら、手話とチャットでやり取りできたら楽しいんではなかろうかと」
「ほう」
「おおざっぱに言うと、動画と文字でのやり取りになるわけだから、これってマルチモーダルでしょ？」
「たしかに🦀」
「というわけで手話の動画を用意したかったんだけど、残念ながら僕は手話はできない。『たしか手話の動画を作成するソフトってあったよなー』って思って探したけど、NHKが作ってる本格的なやつくらいしか見つからなかったんだよね。KIKIって言うんだけど」

www.youtube.com

「めっちゃリアルやん。これはお値段高そう。でもクオリティ追及しすぎるよりまずはみんなが使えるようにした方がいいよね。『完璧を目指すよりまず終わらせろ』って言ってたじゃんメタの偉い人が。わたしは『多分動くと思うからリリースしようぜ』って訳のが好きだけど」
「"Done is better than perfect"ってやつね。てか詳しいね急に」
「へへへ」
「ま、とにかく、手話作成ソフトを見つけられなかったんで指文字動画を作成するソフトを探したら、そちらはあった」
「なんそれ？」
「指文字っていうのは、1文字1文字を指のジェスチャーに対応させたもので、文章を1文字ずつジェスチャーで表現すれば日本語を音声じゃなく伝えられるわけ」
「じゃあそれでいいじゃん」
「違うのよ、それが。僕も詳しくないから間違ってるかもだけど、指文字と手話は別物なのよね。日本手話は『日本語を動作で表すもの』じゃなくて、『動作で表す別の言語』なんだよね。そもそも『日本手話』であって『日本語手話』じゃないし」
「パードゥン？」
「日本語の単語と、日本手話の単語っていうのかな、よく知らんけど、とにかく、1対1対応してるわけではないってことよ」
「なんか面白いねそれ」
「そんなわけでとりあえず指文字で『お前を消す方法』の動画を作ってChatGPTに読み込ませたの」
「あ、そうか。もともとは『お前を消す方法』をやりたかったんだった」
「でも動画でのやり取りはまだ僕のところではできないようで、やり取りではなく動画の解析を始めてしまった」
「解析してくれたならそれでやり取りできるんじゃないの？」
「それがさ、まず最初に『動画内の音声を解析しています』って表示されたんだよね。音はないっちゅうの」
「あーね」
「AIは『常識』に囚われてるところあるからね。結局、大量のデータを学習してその結果で反応してるわけで」
「ああ、世の中に存在する動画には音が入ってることが多かった、というかほとんどだったってことか」
「そゆこと。で、それはそれとして『お前を消す方法』の指文字の動画がカッコよかったんで見てくれない？最後の『方法』って部分が、2文字の繰り返しになるせいか、なんか必殺技ぽくてカッコいい」
「語彙力」
「恰も畳韻かと見紛うばかりの掌による身密にも見える挙措が」
「はいはい」
「ま、動画見といて」
「はいはーい」
「1文字だけでニュアンスの違いを表現するとかやるやん」
「へへへ」