A. Destrucción Matemática

Introducción

La autora cuenta el caso de una profesora de matemáticas, Sarah Wysocki, de un instituto de Washington que fue despedida después de que se empezara a usar un algoritmos que evaluaba a los profesores. El hecho de que este algoritmo usara métricas como las notas y el desempeño con respecto al año pasado hizo que algunos profesores inflaran las notas, por lo que al siguiente año esta profesora al hacer las pruebas a sus alumnos estos obtubieron peor punctuación y la profesora fue despedida.
 
La autora hace una crítica al uso generalizado de algoritmos que incuestionablemente clasifican a las personas en grupos que limitan su libertad y acentúan la desigualdad.

CAP1 - Partes de una bomba: Que es un modelo?

  • Los parámetros y el funcionamiento del modelo deben ser objectivo y exactos con lo que pretenden representar
  • La sobresimplificación de los datos o su escasa relación con lo que pretenden representas definen peores modelos (Buen modelo vs ADM)
  • El modelo representa la ideología del diseñador del mismo
    • Las condiciones de éxito, los parámetros usado, etc…
  • El modelo debe actualizarse constantemente para no quedarse obsoleto
  • Los modelos eliminan el sesgo humano, o solo lo camuflan?
  • Los modelos toman en cuenta parámetros que pueden derivar en correlaciones espurias
  • Ante los sesgos/errores del modelo, se debe corregir el modelo, o nuestro comportamiento (si el modelo toda como parámetro la infancia, debemos correjir el modelo o prevenir ciertas situaciones en la infancia)
  • Los ADM retroalimentan los parámetros sobre los que dan respuestas (A veces el modelo no acierta, sino que fuerza la situación para que las consecuencias confirmen el veredicto del modelo)
  • Un ADM se define por:
    • Su opacidad, los ADM suelen ocultar los parámetros e incluso los resultado
    • Su finalidad, los ADM suelen ser usados en contra de los intereses del individuo modelado
    • Su escalabilidad, los ADM serán considerados una preocupación en función del daño que pueden llegar a causar
 
Ejemplos
  • Modelo comidas
  • Modelo reincidence en carceles

Cap 2 - Conmocinada: Mi viaje hacia el desencanto

  • La caida del mercado
  • Especulacion hipotecaria, caida mercados, crisis 2008

Cap 3 - Carrera armamentística: Ir a la universidad

  • Ranking de universidades de U.S News
  • Bucle de retroalimentación, si las estadisticas (ADM) dice que cierta universidad es mala, el siguiente año le irá peor
    • Las universidades peor valoradas se esforzaban en mejorar los numeros
    • Las universidades peor valoradas intentaban subir las estadísticas
    • Las univerisdades privadas enviaron datos falsos

Cap 4 - Máquina propagandística: Publicidad en linea

  • generacion de leads (oportunidades de negocio / clientes potenciales)
  • Como se recopilan datos

Cap 5 - Víctimas civiles: La justicia en la era del Big Data

La autora habla de modelos como los de predicción de delitos y de como estos modelos los resultados que ofrecen están mas relacionados con la pobreza que el delito en sí. Afirma que los delitos cometidos por las clases altas no se incluyen lo que alimente el bucle de retroalimentacíon donde la policía solo persigue los delitos cometidos por las clases más bajas
En mi opinion la autora habla de modelos que tratan de apoyar a las patrullas policiales, por lo que no tiene sentido incluir en el modelo delitos como el de (estafa, malversación, corrupción) ya que estos delitos no son investigados por los patrulleros sino por los juzgados y la inteligencia policíal la cual no sale físicamente a la calle a evitar dichos delitos mientras que los delitos de violencia y desorden público si son los delitos que pueden ser evitados por agentes que patrullan las ciudades
 
Mi conclusión es que estos modelos si proporcionan datos válidos aunque estos se centren mayoritariamente en minorias, ya que al fin y al cabo un delito es un delito aunque estas personas hayan sido de alguna manera empujados a cometerlos por su situación social. Esta información es valiosa y no hay que mirar para otro lado por miedo a ser discriminatorios, pero en esos casos el la sociedad la que debe de decidir como evitar que se sigan propagando estos crimenes y ayudar a las personas en el foco del modelo a que salgan del bucle de delincuencia. Aun así un delito es un delito se debe penalizar por ello para posteriormente ayudar a que las personas salgan de su propios bucles de delincuencia
 
Se pone el ejemplo de controles policiales y de cuantos acaban en arresto, muchos por delitos menores como posesión de drogas o consumo de alcohol o sustancias. Lo que quiero decir con mi punto anterior es que lo que hay que hacer no es dejar de hacer controles o de aplicar modelos a dichos controles, sino aplicar penalizaciones proporcionales a la falta cometida: Si un policia le encuentras drogras blandas a una persona pero esta no las esta consumiendo ni tiene una actitud violenta, podría dejar a esa persona seguir
Teoría de las ventanas rotas
Esta teoría dice que para evitar brotes de violencia en una ciudad, cuando se rompe una ventana, hay que repararla inmediatamente. Esto se debe a que cuando hay violencia en el ambiente es mas probable que se propague

Cap 6 - No aptos para servir: Conseguir un empleo

  • Modelos de personalidad en la contratación
“No es encontrar al mejor candidato, sino excluir a tantas personas como sea posible y de la forma más barata posible”
  • Exclusión de candidatos con enfermedades mentales
  • Pone a los test de personalidad como ADM, los cuales formulan preguntas bastante absurdas como para que cumplan los requisitos de escalabilidad de un ADM ya que es facil e intuitivo responder a las preguntas de la forma mas beneficiosa
Preguntas de los tests (absurdas)
  • Tiene frecuentes cambios de humor
  • Se enfada con facilidad
  • Es más dificil estar alegre cuando hay demasiadas cosas por las que preocuparse
  • A veces necesito un empujoncito para empezar a trabajar
  • La gente hace cosas que le enfadan
  • No sirve de nada tener amigos intimos, siempre acaban decepcionando
  • Que adjetivo te describe mejor como empleado: “Único” o “Organizado”
La autora plante la injusticia que sufre un chico que fue descartado por sus resultados en el test. Mi reflexión es que si ese chico, con sus carencias, hubiera sido elejido frente a otros candidatos mas aptos, nos sería eso injusto también para ellos
La autora habla de como los modelos de selección de personal discriminan.
Para realizar esta afimación argumenta los solicitantes con mas tiempo y recursos pueden formular mejores curriculums, los imprimen en alto gramage, tienen mejores ordenadores para redactarlos; Mientras que la gente menos informada no sabe que su solicitud va directamente a la basura.
 
Mi punto de vista
  • Para hacer un curriculum no se necesitan recursos de ningun tipo
    • Cualquier ordenador puede ser usado para formular un curriculum
  • Hacer el curriculum no lleva más tiempo que una tarde o un par de días, y luego ya te sirve de forma genérica
    • Si bien es cierto que debes adaptar el curriculum a la emplesa a la que solicitas empleo, yo creo que la empresa está en su derecho a descartar curriculums genéricos destinados a ser enviados de masivamente
  • El gramage no importa ya que la solicitud se hace por internet
En conclusión, estos modelos de selección no son un ADM ya que no pueden ser escalados de forma general y cada empresa tiene sus estandares y sus requisitos por lo que cada empresa personalizará estos procesos. Solo las empresas que no precisan de conocimientos avanzados y que lanzan ofertas destinadas al público general utilizan estos métodos de forma masiva, pero por la naturaleza de estos puestos, los solicitantes no están incentibados a embellecer su solicitud
Las ADM discrimintorias, podrán ser iguales en otros contextos o sociedades, acaso un ADM en EEUU es tambíen discriminatorio en Europa donde tenemos sociendades, minorías y sesgos diferentes
Estoy de acuerdo con la autora en que ciertos factores como los idomas o la maternidad, en lugar de ser factores eliminatorios, deben recibir una solución alternativa como clases de idiomas, o servicio de guardería

Cap 7 - Sudar balas: En el trabajo

La paradoja de Simpson
Es un fenómeno estadístico que se da cuando un conjunto de datos muestra una tendencia, pero al descomponerlo en subgrupos, se muestra una tendencia diferente
Esta paradoja se comenta como parte del análisis que se hizo de las pruebas del SAT, las pruebas de acceso a la universidad de EEUU, donde aparentemente, las notas habían caido mucho. Al se analizados los mismos datos más tarde se concluyó que la razón de dicha bajada se debía a que el sistema universitario se había abierto a gran parte de la población, y aquellos lugares de escasos recursos generaban estudiantes peor formados. Cuando los datos de desconpusieron en grupos, cada grupo, a su ritmo, mejoraban sus datos

Cap 8 - Daños colaterales: Conseguir crédito

Es en este capítulo donde creo que el daño que pueden provocar las ADM es más objectivo ya que efectivamente, si una persona es rechazada de un empleo por su historial crediticio, esto alimenta un ciclo de pobreza
 
Mientras en el resto de ámbitos comentados anteriormente, creo que el uso de modelos de clasificación puediendo ser poco ético, es un uso legitimo
 
Fijandome en las fuentes podemos ver como pone ejemplos muy desactualizados
 
Supuestamente la autora habla de como los modelos estadísticos cometen errores graves en muchos casos, menciona el caso de un IA de google de reconocimiento de imagenes que etiquetóa a 3 jóvenes afroamericanos como 3 “gorilas” pero podemos ver que el artículo que cita es del 2011, años antes del boom de las IA en 2016. La autora podía haber escogido un mejor ejemplo y no un prototipo muy antiguo ya que el libro se publicó en 2016
Bajo mi punto de vista falta las soluciones que aportaría la autora

Cap 9 - No hay zonas seguras: Contratar un seguro

Respeto a los seguros, se comenta que las aseguradoras nos asignan en grupos que nos podemos saber, supuestamente en base a nuestro riesgo, y a cada persona le ofrecen diferentes precios
 
En mi opinion, salvo en el caso de los seguros obligatorios como el seguro de coche a terceros, el hecho de tener un seguro no es más que una apuesta entre la aseguradora y tú, la asegurado te dice un precio que está dispuesta a pagar y tu apuestas contra tí mismo. La apuesta consite en como de probable es que tengas un incidente al que no puedas hacer frente y tu decides si tomar el riesgo o no por el precio que te dan
 
Si es cierto que hay sucesos que no están bajo tu control, como un fallo electrico que provoque un incendio, o que te vandalicen el coche en una manifestación, pero son precisamente estos casos, los que no importa demasido cosas como la raza, solo influye como de prudente seas, y en ese caso tu simpre puedes evitar tomar un seguro y ser tú mismo más prudente
  • Lo que si que no se puede permitir es la fijación de precios

Cap 10 - Ciudadano segmentado: Derechos civiles y políticos

En este capitulo la autora deja ver su imparcialidad ya que menciona el uso de las ADM en la política, a la hora de decidir la estrategia de la campaña electoral. La autora menciona las estrategias de ambos partidos de EEUU donde ambos usan las ADM para sus campañas pero se ve como esta blanque a uno de estos partidos y le quita hierro al hecho de usar estas estrategias, asumiendo que su responsabilidad es menor

Conclusion

(yo) — Es dificil llegar a una conclusión realmente informada ya que el libro, como indica su nombre, habla unicamente de las ADM, osea de modelos que son malignos y no de modelos en general, asi que este libro solo puede ser usado como fuente de informacion acerca de modelos que sean o que queramos considerar como malignos
 
La autora se ha pasado hablando gran parte del libro de como las ADM discriminan a la gente por todo tipo de cosas, lo cual van en contra de la logica empresarial de contratar a los mejores profesionales; y es en la conclusion donde comenta que las empresas han cambiado sus modelos de contratacion para atraer a los talentos homosexuales. Y en este caso no habla de que lo cambiaran por alguien concreto, lo cual diría que hace falta poner el foco en un caso concreto para identificar un error, sino que fue una decision espontanea de la empresa con el objetivo de abarcar mas en la contratacion de personal
En mi opinion este demuestra que solo una empresa que tenga como objectiva ir a peor discrimiraría a un profesional por cualquier razon
 
Juramento hipocratico pg 254
 
La autora no propone ninguna solucion para los modelos atrasados, simplemente dice que no se pueden usar, como para el caso de la evaluacion de profesores, donde propone no hacer ninguna evaluacion ya que no hay forma de medir los resultados
 
Bucles de retroalimentacion positivos: Entrenar los modelos
 
Los cerebros humanos ejecutan su propios modelos que a menudo están sesgados por prejuicios y por el egoismo
 
En mi opinion
Hancen falta modelos que no tomen decisiones, sino que hagan saltar las alarmas.
Como si se tratase de una doble verificacion, el modelo marcaría aquellos casos en funcion de sus parametros, para que una persona luego verifique si la conclusion es correcta y justa (como el caso de la profesora), de esta manera contamos con la capacidad de analizar datos de las maquinas sin dejar de lado el criterio humano
 
Hay cosas como los test de personalidad que son puramente subjetivos y entendería que se prohibieran, pero cosas como conocer la reponsabilidad financiera de una persona, considero que su uso es más legitimo dentro del marco de la privacidad, ya que esto es un indicador más objetivo de como es esa persona, y puede incentivar a las personar a ser mas responsables financieramente
 
Todos sabemos que una empresa puede mirar tus redes sociales para tomar la decision, y si bien no seria legitimo deducir que tienes depresion por subir frases tristes a tus historias, si que es legitimo deducir que eres irreponsable si subes fotos de vacaiones o con coches caros si estas solicitando un puesto de 1500€ al mes
 
Efectivamente un ADM deja de serlo si sus conclusiones son usadas para identificar problemas con el objetivo de arreglarlos, y no de eliminarlos del sistema