connector-hub
Hub d'ingestion passif multi-sources. Lit les declarations sources.yaml de chaque linked_project actif, construit un registre unifie et route chaque ingestion vers le CLI adapte. Declencheurs : ingest
SKILL.mdplugins/connector-hub/skills/connector-hub/SKILL.md
GitHubSKILL.md — connector_hub
Plugin TricorderKit v0.8 — Hub d'ingestion passif multi-sources
Rôle
Le Connector Hub est le point d'entrée unique pour la veille multi-sources.
Il lit les déclarations sources.yaml de chaque linked_project actif,
construit un registre unifié et route chaque ingestion vers le CLI adapté.
Quand utiliser ce plugin
- Pour connaître toutes les sources déclarées :
connector_hub list - Pour vérifier qu'une source est joignable :
connector_hub status - Pour déclencher une ingestion manuelle :
connector_hub dispatch --source <id> - Pour lancer toutes les ingestions :
connector_hub dispatch --all --dry-run(toujours dry-run en premier)
Commandes
# Lister toutes les sources actives
python plugins/connector-hub/connector_hub.py list
# Lister aussi les sources désactivées
python plugins/connector-hub/connector_hub.py list --all
# JSON contract-compliant
python plugins/connector-hub/connector_hub.py list --format json
# Vérifier joignabilité (HTTP HEAD)
python plugins/connector-hub/connector_hub.py status
# Simuler le dispatch de toutes les sources
python plugins/connector-hub/connector_hub.py dispatch --all --dry-run
# Dispatcher uniquement arXiv, sur une requête donnée
python plugins/connector-hub/connector_hub.py dispatch --source "arXiv API" --query "vector databases"
# Dispatcher une source spécifique d'un linked_project
python plugins/connector-hub/connector_hub.py dispatch --source my-domain-project_source_1
Architecture des sources
Les sources proviennent de deux niveaux :
| Niveau | Fichier | Contenu |
|---|---|---|
| Core (générique) | plugins/deep-research-core/sources/trusted_sources.yml |
APIs publiques génériques (GitHub, arXiv, Hacker News, Wikipedia) |
| Linked project | <linked_project_root>/project_config/sources.yaml |
Sources propres au domaine du projet lié |
Routage des sources
Aucune source n'est câblée en dur dans le hub.
| Origine | CLI appelé |
|---|---|
Core (trusted_sources.yml, catégorie <d>) |
collect_sources.py --domain <d> --sources "<nom>" --query <requête> |
| Linked project | bloc dispatch: {cli, args} de la source dans sources.yaml |
--source accepte un id, un nom, un type ou un domaine (ex. research).
Une source de linked_project sans bloc dispatch: est listée mais non dispatchable.
Lien avec Temporal
Le Connector Hub complète source_watch.workflow.ts :
- Le workflow Temporal gère la répétition (sleep + signal pause/resume/stop)
- Le Connector Hub gère le routage (quel CLI pour quelle source)
Pour déclencher un workflow Temporal :
# (via tk CLI — une fois l'intégration Temporal câblée)
tk workflow start source_watch --project my-domain-project
Règles opérationnelles TricorderKit
- Dry-run obligatoire avant tout
dispatch --allen production. - CLI avant LLM : utiliser ce hub avant de générer des données manuellement.
- Sources validées uniquement — voir
docs/linked_projects.mdpour les critères de fiabilité. - Ne jamais ajouter une source
requires_auth: truesans vérifier que le secret est dans.env(jamais en dur).
Output JSON (contract)
--format json produit un objet conforme à la structure suivante :
{
"connector_hub_version": "0.2.0",
"timestamp": "2026-05-17T...",
"total": 5,
"dispatchable": 4,
"sources": [
{
"id": "core_arxiv_api",
"name": "arXiv API",
"url": "http://export.arxiv.org/api/query",
"type": "api_atom",
"reliability": "0.95",
"enabled": true,
"origin": "core",
"domain": "research",
"dispatchable": true,
"handler_desc": "collect_sources.py --domain research"
}
]
}