LLM（大規模言語モデル）で用いられているAttentionの仕組みについて。 1. Attentionとは何か？（ひとことで言うと） Attentionとは、「文章中の『どの単語』に『どれくらい注目すべきか』を計算し、動的に意味をつなぐ仕組み」です。 従来のモデルとの違い 昔のAI: 文章を最初から順番に読むだ Read more

支援する立場に立つと、つい何でも引き受けたくなる。 相手が詰まっていれば手を出し、要件が曖昧なら整理してやり、問題が起きれば先回りして消す。 どれも善意だし、実際にプロジェクトは進む。 けれど、しばらくして妙なことに気づく。 支援したはずの相手が、いつまでも自分たちで決められるようにならない。 手を貸すほど、 Read more

「技術力が足りないので、支援してほしい」。 そう頼まれたら、まず技術で応えようとするのが自然だ。 足りないと言うのだから、足せばいい。 けれど、この要請を額面どおり受け取ると、たいてい妙なことになる。 言われたとおりに技術を入れても、プロジェクトは思ったように進まない。 システムは出来上がるのに、なぜか運用さ Read more

「一人ではできないから、人に頼る」。 そう自分に言い聞かせて協働を選ぶとき、行動としては正しくても、どこかに小さな敗北感が残る。 できない自分を認めたうえでの、やむを得ない選択。 そういう手ざわりがつきまとう。 けれど、まったく同じ「協働する」を選びながら、その手ざわりが残らない語り方もある。 「対話を通せば Read more