Qu'est-ce que Labelbox ?
Labelbox propose des environnements d'apprentissage et des agents autonomes pour entraîner les modèles d'IA de pointe. La plateforme permet aux équipes de déléguer des tâches complexes, comme le débogage ou l'évaluation de modèles, via des agents qui exécutent le travail en arrière-plan. L'accès nécessite une configuration spécifique pour les entreprises ou les laboratoires d'IA, avec des options d'essai mentionnées mais sans prix publics détaillés.
Quelles sont les caractéristiques de Labelbox ?
- Agents autonomes (Recursion)Des agents spécialisés qui démarrent sur déclencheurs (alertes, commits) pour corriger les tests flaky, mettre à jour les dépendances ou analyser les incidents, livrant un PR ou un rapport dans Slack.
- Environnements RL et évaluations (Horizon)Création d'environnements d'apprentissage par renforcement et d'évaluations pour le post-training, couvrant le raisonnement, l'utilisation d'outils et l'interaction avec l'ordinateur.
- Données robotiques multi-angles (Terra)Collecte de données egocentriques et téléopérées depuis sept points de vue synchronisés, guidée par un moteur d'IA pour combler les lacunes du corpus.
- Jugement expert humain (Alignerr)Mobilisation de plus de 2,6 millions d'experts testés dans 200+ domaines pour rédiger des rubriques, des préférences et des évaluations notées servant de signal d'entraînement.
- Sandboxing sécuriséChaque agent opère dans un environnement isolé avec accès limité aux repos nécessaires, sans jamais voir les identifiants de connexion, tout en enregistrant chaque commande et diff.
- Amélioration continue par mémoireLes sessions notées génèrent des mémoires et compétences que les futures sessions lisent avant d'agir, réduisant potentiellement les coûts après formation d'un modèle spécialiste.
Quels sont les cas d'utilisation de Labelbox ?
- Recherche de cause de régressionUn coordinateur et cinq spécialistes relancent les évaluations, comparent les données d'entraînement et effectuent des ablations pour identifier la cause exacte d'une baisse de performance d'un checkpoint.
- Nettoyage de dépendances obsolètesL'agent "Deprecation Cleanup" migre automatiquement tous les appelants hors d'une API marquée comme obsolète, service par service, avec tests associés.
- Évaluation comparative de modèlesL'agent "Benchmark Runner" exécute simultanément tous les modèles candidats contre les benchmarks internes pendant la nuit, fournissant un classement avec coût et latence.
