関連リンク

DeepSeek-V4-Flash means LLM steering is interesting again

本記事は、DeepSeek-V4-Flashという強力なローカルモデルの登場により、LLMの挙動を内部から操作する技術「ステアリング（Steering）」が再び注目を集めていることを解説しています。

1. 「ステアリング」とは何か？

通常、LLMの出力を調整するには「プロンプト（指示文）」を工夫しますが、ステアリングはモデルが推論を行っている最中の「内部活性化（Activations）」を直接書き換える手法です。例えば、「簡潔に答える」という概念に対応するモデル内部の数値パターン（ステアリングベクトル）を特定し、推論時にその数値を強めることで、プロンプトで指示しなくても強制的に回答を簡潔にさせることができます。これは、モデルの脳に直接「ダイヤル」を取り付けて調整するような、非常にエキサイティングな技術です。

2. なぜ今、再注目されているのか？

これまでステアリングは、以下の理由で一般のエンジニアには縁遠いものでした。

APIの壁: OpenAIなどのAPI経由ではモデルの内部状態を触れない。
モデル性能の壁: ローカルで動くオープンなモデルは、高度なステアリングを試すには性能が不十分だった。

しかし、DeepSeek-V4-Flashの登場により、個人のPCで動作可能かつ「エージェントによるコーディング」もこなせるほど高性能なモデルが手に入るようになりました。これに合わせ、Redisの作者として知られるantirez氏が、このモデルを軽量に動かしステアリング機能を組み込んだプロジェクト「DwarfStar 4」を公開したことで、エンジニアが手軽に実験できる環境が整ったのです。

3. ステアリングの可能性と利点

ステアリングには、プロンプトエンジニアリングにはない利点があります。

「教えられない」概念の操作: 「知性」や「誠実さ」といった、プロンプトでは限界がある抽象的な概念を強化できる可能性があります。
コンテキストの節約: 大量の指示をプロンプトに書く代わりに、ステアリングベクトルとして適用することで、入力文字数（トークン）を節約できる可能性があります。
ガードレールの回避: プロンプトでは解除できないモデル固有の拒絶反応（過度な安全性制限など）を、内部から直接取り除く「アブリテレーション（Abliteration）」という手法にも応用されています。

4. 新人エンジニアへのメッセージ

ステアリングは、単にAIを使うだけでなく「AIの脳の仕組み」に一歩踏み込む技術です。現在はまだ研究段階の側面も強いですが、今後、特定の性格や能力を付与した「ステアリングベクトル集」がライブラリのように流通する未来が来るかもしれません。DeepSeek-V4-Flashのような強力なツールを使って、LLMの新しい制御方法に触れてみる絶好の機会と言えるでしょう。

引用元: https://www.seangoedecke.com/steering-vectors/

Transformer / GPT の内部処理をブラウザ上で可視化して学ぶ transformer-explainer

「Transformer Explainer」は、現代のAI技術の根幹であるTransformer（特にGPT-2モデル）の内部メカニズムを、ブラウザ上で直感的に可視化・学習できるインタラクティブな教育ツールです。LLMの仕組みが不透明に感じている新人エンジニアにとって、理論と実践を繋ぐ優れたリソースとなります。

■ 概要とツールの特徴本ツールは、ユーザーが入力した任意のテキストに対し、モデルがどのように次のトークン（単語の断片）を予測するかをリアルタイムで描き出します。最大の特徴は、PythonやGPUなどの複雑な環境構築が不要で、ブラウザ上でGPT-2インスタンスを直接動作させている点です。これにより、数式的な演算とモデル構造の抽象的な概念をスムーズに行き来しながら、LLMの推論プロセスを詳細に追跡できます。

■ 視覚化される主な内部処理

Embedding（埋め込み）: 文章がトークンに分割（Tokenization）され、単語の意味ベクトルに位置情報（Positional Encoding）が足し合わされる様子を確認できます。
Transformer Block: モデルの心臓部であり、以下の要素が可視化されます。
- Multi-head Self-Attention: 各トークンが文中の他のどのトークンを重視しているかを、Q（Query）、K（Key）、V（Value）の行列演算レベルで表示します。生成AIに不可欠な「未来の単語を参照しない（Masked）」仕組みも視覚的に理解可能です。
- MLP（多層パーセプトロン）: Attentionで集約された情報を非線形に変換し、次の予測に役立つ特徴を抽出するプロセスを示します。
安定化の仕組み: 計算の安定性を保ち、情報を効率的に伝えるための「残差接続（Residual Connection）」や「層正規化（Layer Normalization）」といった、実装上重要なコンポーネントも網羅されています。
出力（Probabilities）: 計算された生スコア（Logit）が、Temperature（温度パラメータ）による多様性の調整やTop-kフィルタリングを経て、Softmax関数によって「次の単語の出現確率」に変換されるまでの流れを追えます。

■ エンジニアにとっての価値「LLMがなぜその答えを出したのか」というブラックボックスな問いに対し、数学的な根拠に基づいた視覚的な回答を与えてくれます。理論を学ぶ前の導入として、あるいは内部挙動の直感を養うための教材として非常に有用です。

引用元: https://kazumaxneo.hatenablog.com/entry/2026/05/15/143854

Greg Brockman Officially Takes Control of OpenAI’s Products in Latest Shake-Up

OpenAI社において、共同創業者であり社長のグレッグ・ブロックマン（Greg Brockman）氏が、正式に製品戦略の指揮を執ることが発表されました。これまで暫定的に製品部門を監督していましたが、今回の組織改編により、同社の主要な製品群を統括するリーダーとしての役割が明確化されました。

今回の組織変更の最大のポイントは、対話型AI「ChatGPT」とコーディング支援AI「Codex（コーディング・エージェント）」、そして開発者向けのAPIを一つのコア製品チームに統合したことです。ブロックマン氏は社員向けのメモの中で、「エージェントが中心となる未来（Agentic Future）」に向けてリソースを集中させ、個人向け・法人向けの両方で勝利することを目指すと述べています。

新人エンジニアの皆さんに馴染み深い「ChatGPT」と、プログラム生成の裏側を支える「Codex」が統合される背景には、AIが単なる「回答者」から、ユーザーに代わって自律的にデジタル上のタスクを実行する「エージェント（実行者）」へと進化させる狙いがあります。

主要なリーダー人事もあわせて発表されました。

ティブー・ソティオー（Thibault Sottiaux）氏：Codex部門を率いた実績を評価され、コア製品・プラットフォーム部門を統括。デスクトップアプリや独自ブラウザ「Atlas」を統合した「スーパーアプリ」の開発も担当します。
ニック・ターリー（Nick Turley）氏：これまでChatGPTの成長を支えてきましたが、今後は法人向け製品（Enterprise）のリーダーへ。
アシュリー・アレクサンダー（Ashley Alexander）氏：Instagram出身。個人向け製品（Consumer）のユニットを率います。

この大規模な再編の背景には、コーディング分野での競合であるAnthropic社や、コンシューマー向けチャットボットで追い上げるGoogle社との競争激化があります。また、OpenAIは年内にも新規株式公開（IPO）を計画しているとされており、製品ラインナップをシンプルかつ強力に統合することで、投資家へのアピールと市場での優位性を固める狙いがあるようです。

最近、同社ではCTOや主要なリーダーの離職が続いていましたが、今回の再編によりブロックマン氏を中心とした新しい強力な体制が構築されました。私たちエンジニアが使うツールがどのように進化し、「自律型エージェント」としてどう統合されていくのか、今後の動向から目が離せません。

引用元: https://www.wired.com/story/openai-reorg-greg-brockman-product/

お便り投稿フォーム

VOICEVOX:春日部つむぎ