Lancement3 sources

OpenAI dévoile Control Room pour surveiller ses tests d’IA et intervenir en cas d’alerte

Clubic · il y a 9 h

L’essentiel · rédigé à partir de 3 sources

OpenAI a présenté le 10 novembre Control Room, un système central qui suit les tâches de ses chercheurs utilisant ses modèles d'IA.
Selon les sources, ce système peut interrompre un modèle en 35 secondes au maximum lorsqu'un problème de sécurité est détecté.
Control Room fonctionne avec les systèmes de surveillance du désalignement de l'entreprise et peut arrêter une tâche même si le programme de l'expérience comporte un bogue.

Pourquoi c’est important

Pour les développeurs, cette annonce montre que les laboratoires d'OpenAI disposent désormais d'un mécanisme centralisé d'arrêt d'urgence des tâches de leurs modèles. Elle donne aussi une indication sur la manière dont l'entreprise compte encadrer les comportements désalignés de ses IA.

Qui est concerné

Équipes de recherche utilisant les modèles d'OpenAI

#openai
#sécurité de l'ia
#alignement
#kill switch
#surveillance

Il faut au plus 35 secondes à OpenAI pour priver de réponses un agent d’IA incontrôlable pendant une expérience. Avec Control Room, l’entreprise peut interrompre n’importe quelle tâche de ses laboratoires de recherche, même si le programme de l’expérience comporte un bogue.

Lire l’article complet sur clubic.com ↗