NVIDIA、エージェントの「数字が間違っていたら意味がない」問題に挑むオープンソース基盤を公開

ここ多くの人がひどく書かれたREADMEを理解できなかったようなので、説明を試みたい。

「Auto Ontology」はちょっとした悪い名前だ。

問題はこうだ：

あなたの会社のデータは複数の種類のデータベースに散らばっている。意思決定をする人々はそのデータについて質問したい。

昔のやり方は、データアナリストのところに行って「何々についてのレポートを取ってきて」と言い、アナリストが必要な情報を生成するために正しい一連のクエリとアドホックなスクリプトを調整するのが仕事だった。

このようなシステムでは、すべてのデータベースモデルがイントロスペクトされ、中央のメタデータカタログに保存されているという考えだ。

「5月のトップセールス商品は何だった？」という質問がされると、メタデータカタログは「ProductsはFOO_DBに保存されている」「Product_SalesはBAR DBに保存されている」と教えてくれるので、正しい場所から正しいデータを取得し、必要なインメモリ計算を行う。

システムが提供するのは以下の実装コードだ：

- 各DBのイントロスペクション

- モデル＋メタデータ情報を中央の仮想DB（VDB）に集約

- 自然言語クエリから方言固有のSQLを生成し、基になるテーブルの正しいDBにルーティング

- 自然言語クエリが複数のデータソースを必要とする場合に結果をインメモリで結合

- 適切な権限の処理など

これをうまくやる優れたシステムは、外部APIソース（OpenAPI、GraphQL、gRPCなど）やドキュメントソースとも統合する […]

この件でhttps://github.com/ucbepic/DataAgentBenchが言及されていないのが驚きだ。複数のソースからクエリする必要があるデータエージェントのベンチマークはUCバークレーでの研究の焦点の一つで、リーダーボードは様々なクローズドおよびオープンソースの実装がどのようにオントロジーを構築するかを見る価値がある…Nvidiaのアプローチがどう比較されるか見てみたい。

信頼できないエージェントを、さらに信頼できないエージェントを追加することで修正する。LLMが分析しているデータよりも自分の重みを重視する傾向に何かできないのは残念だ。

結局のところ、彼らは世界について学習したデータ、指示、分析対象のデータの間に明確な区分がないということに帰着するのだろう。

目の前の5つの事実だけを考慮するように頼んでも、彼らはそうしないし、できない。

これがOWL/RDFやSPARQLより優れている理由がどうも見えてこない。コーパスにおけるセマンティックウェブの知識の広さと深さを考えると、彼らは確立されたオントロジーを発見し、提示されたデータに基づいて新しいオントロジーを構築し、SPARQLでクエリするという驚くべき仕事をしている。実際、私が見たほとんど何よりも優れている。何年も経ってセマンティックウェブが実際の用途—実は元々の用途—を見つけそうだというのは、なんという皮肉だろう。

私はまだ自分自身の、シンプルでより関数型のCAVE言語[0]の方が好きだ。

[0] https://mirekrusin.com/cave

LLMとGOFAIの両方に知識のある人に質問がある：データに適合するだけの記号ルールを、ルールセットをレビュー可能で保守可能に保ちながら、LLMに書かせることはできないのだろうか？

私はデータとオントロジーを扱うキャリアを送ってきたが、このREADMEは理解できなかったし、図はさらに混乱させるだけだ。