コーディング用AIを使ってもまったく動作しない場合もあれば、一発でほぼ思う通りの動作ができる場合もある。求める規模や環境、プロンプトなどで大きく左右してしまう。


企業向けに自律的にコードを生成するエージェントを提供する米スタートアップFactoryのCTO Eno Reyes氏は、高品質なコーディングエージェントにはモデル構築とは全く異なるスキルセットが必要だとStack Overflow Blogで指摘する。過去にLLMやエージェント開発を行うような研究者が集うFactory社だが、特定のOSやLLM、IDE等に依存しない優れたエージェント構築のためには、ハーネスエンジニアリング(harness engineering)が必要だと説いている。

これは、LLMのコンテキストの管理や必要となる環境情報の注入、ツールの呼び出しなど小さな最適化を細かく積み重ねる作業で、研究者たちが従来携わっていたLLMの開発とは全く異なるものだ。
.
編集部おすすめ