Data Infrastructure

本当の議論の焦点は、PostgreSQL がテキスト検索できるかどうか、あるいは Elasticsearch がドキュメントを保存できるかどうかではありません。両者とも可能です。興味深いのは、検索の複雑性がどこに存在すべきかという点です。

Apache Flink は、有界および無界のデータストリームに対して状態付きの計算を行うためのフレームワークです。

Neo4j は、関係そのものがデータであるときに選択するソリューションです。ドメインが白板に描かれた円と矢印の図のように見える場合、それをテーブルに無理やり押し込むのは苦痛を伴います。

Apache Kafka 4.2.0 は現在のサポート対象リリースであり、Kafka 4.x は完全に ZooKeeper 不要化され、デフォルトで KRaft に基づいて構築されているため、モダンな Quickstart の最適な基準となります。

Airtableは、協力的な「データベースに似た」スプレッドシートUIを中心に構築された低コードアプリケーションプラットフォームと考えるのが最も適切です。これは、非開発者が友好的なインターフェースを必要とするが、開発者も自動化と統合のためにAPI表面が必要な場合に、運用ツール（内部トラッカー、軽量なCRM、コンテンツパイプライン、AI評価キュー）を迅速に作成するのに非常に適しています。

AWS S3はオブジェクトストレージの「デフォルト」の基準であり、完全に管理されており、強い一貫性を持ち、非常に高い耐久性と可用性が設計されています。
GarageおよびMinIOは、自己ホスト型のS3互換の代替案: Garageは軽量で、地理的に分散された小規模から中規模のクラスター向けに設計されていますが、MinIOはS3 APIの幅広い機能カバレッジと、大規模な展開での高パフォーマンスを強調しています。

Garage は、小規模から中規模の展開に最適化された、オープンソースでセルフホスト可能な S3 互換のオブジェクトストレージシステムです。これは、高耐性と地理的分散性を強調しています。

プロダクション環境での AI システムは、モデルやプロンプトだけでは成り立ちません。

堅牢なストレージ、信頼性の高いデータベース、スケーラブルな検索機能、そして慎重に設計されたデータ境界が必要です。

本セクションでは、以下を支える データインフラストラクチャ レイヤーについて文書化します。