connector-hub

Hub d'ingestion passif multi-sources. Lit les declarations sources.yaml de chaque linked_project actif, construit un registre unifie et route chaque ingestion vers le CLI adapte. Declencheurs : ingest

SKILL.md

GitHub

SKILL.md — connector_hub

Plugin TricorderKit v0.8 — Hub d'ingestion passif multi-sources


Rôle

Le Connector Hub est le point d'entrée unique pour la veille multi-sources. Il lit les déclarations sources.yaml de chaque linked_project actif, construit un registre unifié et route chaque ingestion vers le CLI adapté.


Quand utiliser ce plugin

  • Pour connaître toutes les sources déclarées : connector_hub list
  • Pour vérifier qu'une source est joignable : connector_hub status
  • Pour déclencher une ingestion manuelle : connector_hub dispatch --source <id>
  • Pour lancer toutes les ingestions : connector_hub dispatch --all --dry-run (toujours dry-run en premier)

Commandes

# Lister toutes les sources actives
python plugins/connector-hub/connector_hub.py list

# Lister aussi les sources désactivées
python plugins/connector-hub/connector_hub.py list --all

# JSON contract-compliant
python plugins/connector-hub/connector_hub.py list --format json

# Vérifier joignabilité (HTTP HEAD)
python plugins/connector-hub/connector_hub.py status

# Simuler le dispatch de toutes les sources
python plugins/connector-hub/connector_hub.py dispatch --all --dry-run

# Dispatcher uniquement arXiv, sur une requête donnée
python plugins/connector-hub/connector_hub.py dispatch --source "arXiv API" --query "vector databases"

# Dispatcher une source spécifique d'un linked_project
python plugins/connector-hub/connector_hub.py dispatch --source my-domain-project_source_1

Architecture des sources

Les sources proviennent de deux niveaux :

Niveau Fichier Contenu
Core (générique) plugins/deep-research-core/sources/trusted_sources.yml APIs publiques génériques (GitHub, arXiv, Hacker News, Wikipedia)
Linked project <linked_project_root>/project_config/sources.yaml Sources propres au domaine du projet lié

Routage des sources

Aucune source n'est câblée en dur dans le hub.

Origine CLI appelé
Core (trusted_sources.yml, catégorie <d>) collect_sources.py --domain <d> --sources "<nom>" --query <requête>
Linked project bloc dispatch: {cli, args} de la source dans sources.yaml

--source accepte un id, un nom, un type ou un domaine (ex. research). Une source de linked_project sans bloc dispatch: est listée mais non dispatchable.


Lien avec Temporal

Le Connector Hub complète source_watch.workflow.ts :

  • Le workflow Temporal gère la répétition (sleep + signal pause/resume/stop)
  • Le Connector Hub gère le routage (quel CLI pour quelle source)

Pour déclencher un workflow Temporal :

# (via tk CLI — une fois l'intégration Temporal câblée)
tk workflow start source_watch --project my-domain-project

Règles opérationnelles TricorderKit

  1. Dry-run obligatoire avant tout dispatch --all en production.
  2. CLI avant LLM : utiliser ce hub avant de générer des données manuellement.
  3. Sources validées uniquement — voir docs/linked_projects.md pour les critères de fiabilité.
  4. Ne jamais ajouter une source requires_auth: true sans vérifier que le secret est dans .env (jamais en dur).

Output JSON (contract)

--format json produit un objet conforme à la structure suivante :

{
  "connector_hub_version": "0.2.0",
  "timestamp": "2026-05-17T...",
  "total": 5,
  "dispatchable": 4,
  "sources": [
    {
      "id": "core_arxiv_api",
      "name": "arXiv API",
      "url": "http://export.arxiv.org/api/query",
      "type": "api_atom",
      "reliability": "0.95",
      "enabled": true,
      "origin": "core",
      "domain": "research",
      "dispatchable": true,
      "handler_desc": "collect_sources.py --domain research"
    }
  ]
}