BaseCNPJは、Meta Dadosが提供するエンリッチメントおよび営業インテリジェンスのプラットフォームです。ブラジル企業の登記・出資・税務データを、リアルタイムにAPI経由で照会できます。このデータベースは連邦国税庁(Receita Federal)のオープンデータをもとに構築され、月次の公開サイクルごとに大規模な取り込み処理で再処理されており、6,200万を超える事業所を集約し、独自のエンリッチメントレイヤーと組み合わせています。
これほどの規模のデータベースは、可視化できて初めて価値を生みます。UF(州)やCNAE別のカバレッジ、データの品質と鮮度、顧客ごとのAPI利用状況といった事業上の問いに答えるためのBIレイヤーが必要でした。しかも、新しい問いが出るたびにダッシュボードをゼロから作り直すことなく実現する必要がありました。
課題
- 本番APIの性能を落とさずに、負荷の高い分析クエリ(CNAE、UF、企業規模、登記状況別の集計)を実行すること。
- 公開データは著しく不安定です。サイクルごとに、国税庁のファイル形式の突然の変更、文字化けしたエンコーディング、存在しない・無効なCNAEといった参照整合性を壊す不整合レコードに直面します。
- SQLを扱えない営業・プロダクトチームがセルフサービスを必要としていること。
- 取り込み処理の監視。連邦国税庁からの各ロードには、完全性と整合性の検証が必要です。
ソリューション
BaseCNPJのBIレイヤーとしてMetabaseのセルフホスト環境(Docker、常に最新バージョン)を導入しました。
- アーキテクチャ — DigitalOcean上でデータウェアハウスとして厳密に機能する独立したデータベースを用意し、負荷の高い分析処理を、顧客向けの本番APIから隔離しました。
- モデリング — 最も頻繁に照会される切り口(CNAE × UF × 規模 × 状況)をPostgreSQLのマテリアライズドビューにまとめ、Metabaseネイティブのモデル(Models)と組み合わせて、事業チームが理解できるセマンティックレイヤーを構築しました。
- 品質 — ロード後の検証パイプラインが、国税庁の新しいサイクルごとに完全性と整合性を確認します。
- ダッシュボード — データベースのカバレッジと鮮度、顧客ごとのAPI利用ファネル(160万件超の照会を追跡、1日あたり約2万3千件)、そしてデータ品質の指標。
- セルフサービス — 営業・プロダクトチームが、エンジニアリングに頼ることなく、クエリビルダーを使って視覚的に複雑なレポートを抽出できます。
成果
かつては複雑なSQLクエリ、あるいは数日の開発を要していた作業が、数秒で解決するセルフサービスに変わりました。営業チームは、CNAE、地域、資本金、設立日で活動中の企業を自律的に絞り込み、エンジニアリングに依頼を出すことなく、高いコンバージョンが見込めるアウトバウンドキャンペーン向けの市場セグメントを組み立てられます。
技術スタック
PostgreSQL · Metabase(セルフホスト、Docker)· 取り込みパイプラインにPython · DigitalOcean · 連邦国税庁のオープンデータ。
なぜMetabaseなのか
オープンソースかつセルフホスト — インフラとデータを完全に制御でき、LGPD対応に不可欠です。事業チームが実際に使えるクエリビルダーを備え、コストはデータ量ではなくチームの規模に応じてスケールします。
よくある質問
レポートにAPIそのものを使わないのはなぜですか?
APIは個別・トランザクション的な照会のために設計されており、負荷の高い集計向けではありません。CNAE、UF、規模別の分析を本番データベース上で直接実行すると、APIを利用する側の応答時間が低下してしまいます。そのため、分析レイヤーを専用のデータウェアハウスに分離しました。
事業チームはSQLを知っている必要がありますか?
いいえ。Metabaseのクエリビルダーを使えば、SQLを1行も書かずにセグメントやダッシュボードを組み立てられます。さらに高度な処理が必要な場合には、SQLエディタも利用できます。