La auditoría de voz de Rob Lesi ai es efectiva, pero la auditoría humana es aún mejor
La plataforma de creación de juegos a gran escala "Robu Lesi" ha utilizado la tecnología de IA de aprendizaje automático para llevar a cabo el trabajo de revisión de chat de voz durante un año. Dado que la plataforma tiene un gran grupo de usuarios de niños, la compañía siempre considera que el trabajo de auditoría como una prioridad. En la conferencia de desarrolladores de juegos GDC 2024 celebrada recientemente, Kiran Bhat, director técnico senior de Rob Less y Hannes Heikinheimo, jefe de seguridad de voz, reveló que a pesar de los resultados significativos de las auditorías de IA, las auditorías manuales aún tienen ventajas irremplazables en algunos casos.
Bhat señaló en su discurso: "El monitoreo de la voz en tiempo real no es fácil, ya que no solo requiere identificar el contenido de voz, sino también capturar el tono y la intensidad del altavoz, para determinar con precisión si un pasaje es malicioso". Además, explicó: "La información de contexto también es un factor clave para juzgar si un discurso es ofensivo, lo que hace que el problema sea más complicado".
Para abordar estos desafíos, la compañía adoptó una estrategia de dividir el contenido ilegal en cuatro categorías principales, y descubrió que el 85% del contenido ilegal pertenece a estas categorías, y la "mayoría abrumadora" puede capturarse a través de 50 palabras clave. Bhat dijo: "Si las 50 palabras clave principales en estas categorías se pueden cubrir, el trabajo de revisión estará bastante vigente".
Heikinheimo, el jefe de seguridad de la voz, enfatizó los logros notables hechos por la supervisión de IA: después de un año de operación, el sistema ha cubierto 31 países y regiones, y el número de violaciones reportadas en cada período de "tiempo de chat activo" se ha reducido a la mitad. Mencionó que una de las ventajas notables de la IA es que es emocionalmente poco saludable y no se agota, por lo que las máquinas son más eficientes y estables que los humanos cuando se trata de "violaciones muy obvias". Sin embargo, también admite que "los humanos siguen siendo más fuertes que las máquinas" para comprender las intenciones y hacer juicios.
Heikinheimo explicó: "Al tratar con situaciones que pueden estar cerca del borde del juicio, o en casos raros donde los datos son escasos y los sistemas de aprendizaje automático son difíciles de entrenar completamente, el rendimiento de los auditores humanos es aún mejor".
