La inteligencia artificial está cada vez más presente en el día a día, pero uno de los debates es si hay algún límite a la hora de tratar con esta tecnología, ya que hay usuarios que la utilizan mediante comentarios o le piden tareas inapropiadas. En este contexto, Anthropic, la empresa responsable de Claude, acaba de actualizar sus normas de uso para, entre otras cosas, frenar las actividades peligrosas y el comportamiento abusivo o cruel que se está repitiendo últimamente hacia sus modelos.
La nueva política entrará en vigor el día 12 de noviembre y también aclara las restricciones sobre las campañas engañosas, armas y vigilancia.
Claude frena las situaciones extremas
Según explican desde la propia compañía y desde medios como The Verge, la nueva normativa está pensada para las situaciones extremas en las que una persona mantiene un comportamiento cruel de forma repetitiva y sin un propósito aparente. Esto no quiere decir que los usuarios tengan prohibido enfadarse con Claude, criticar sus respuestas o utilizarlo para escribir historias oscuras, sino para cuando van más allá.
Esta medida da continuidad a una función que ya se había anunciado: permitir que Claude termine de determinadas conversaciones con usuarios que mantienen una conducta persistentemente abusiva en Claude.ai y Claude Code. Anthropic deja claro que acabar con estas interacciones seguirá siendo el principal mecanismo para aplicar esta medida, aunque la empresa no ha confirmado si recurrirán a otro tipo de sanciones.
Restricciones en campañas engañosas, desarrollo de armas, salud y finanzas
Claude no podrá utilizarse para ocultar quién está detrás de un mensaje, gestionar redes de cuentas falsas o difundir publicaciones artificiales para manipular la opinión pública. En cuanto al ámbito electoral, tampoco se permitirá engañar a los votantes con información falsa sobre candidatos o procedimientos de votación, suplantar a responsables electorales o intentar reducir la participación.
Una de las cosas que más remarcan en el comunicado es que la prohibición de desarrollar armas también abarca el software y los componentes necesarios para hacerlas funcionar, incluidos los sistemas de guiado y control. También prohíbe emplear Claude para realizar acciones como armar drones u otros vehículos autónomos.
En la materia de vigilancia no se podrá rastrear a personas sin su consentimiento ni utilizar a la IA para decidir a quién investigar, detener o acusar. Además, la política restringe la creación y mejora de herramientas de vigilancia. Es decir, todo su desarrollo.
Por último, especifican que cuando Claude se utilice en ámbitos de alto riesgo como salud o las finanzas, deberá intervenir una persona cualificada y se tendrá que informar a los afectados del uso de la inteligencia artificial. Si controla equipos físicos autónomos capaces de causar lesiones, un operador deberá poder supervisarlos y detenerlos cuando sea necesario.