Zeynep Tufekci at TEDSummit
Machine intelligence makes human morals more important
June 2016
Machine intelligence is here, and we're already using it to make subjective decisions. But the complex way AI grows and improves makes it hard to understand and even harder to control. In this cautionary talk, techno-sociologist Zeynep Tufekci explains how intelligent machines can fail in ways that don't fit human error patterns -- and in ways we won't expect or be prepared for. "We cannot outsource our responsibilities to machines," she says. "We must hold on ever tighter to human values and human ethics."
Transcript:
So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
"Can who tell if you're lying? And why are we whispering?"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
Artificial intelligence does not give us a "Get out of ethics free" card.
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.Thank you.
Transcripción: (Español)
Empecé mi primer trabajo como programadora informática en mi primer año de universidad, básicamente, siendo aún adolescente.
Poco después de empezar a trabajar, programando software en una empresa, un gerente que trabajaba en la compañía vino allí donde estaba yo, y me dijo al oído: "¿Puede decir ella si estoy mintiendo?" No había nadie más en la habitación.
"¿Puede "quién" decir si está mintiendo? ¿Y por qué estamos susurrando?"
El gerente señaló la computadora de la habitación. "¿Puede ella decir si estoy mintiendo?" Bueno, el gerente tenía una aventura con la recepcionista.
Y yo todavía era adolescente. Por lo tanto, le susurro yo a él: "Sí, la computadora puede determinar si Ud. está mintiendo".
Bueno, me reí, pero, en realidad, me reía de mí. Hoy en día, existen sistemas informáticos que pueden detectar estados emocionales e incluso mentir a partir del procesamiento de rostros humanos. Los anunciantes, e incluso hay gobiernos muy interesados.
Me había convertido en programadora informática porque yo era una de esas chicas locas por las matemáticas y la ciencia. Pero también me había interesado por las armas nucleares, y había empezado a realmente a preocuparme por la ética de la ciencia. Yo estaba preocupada. Sin embargo, por circunstancias familiares, también debía empezar a trabajar lo antes posible. Así que me dije, bueno, vamos a elegir un campo técnico donde poder conseguir un trabajo fácil y donde no tenga que lidiar con preguntas molestas sobre ética. Así que elegí las computadoras.
Bueno, ¡ja, ja, ja! Todas las risas a mi costa. Hoy en día, los informáticos construyen plataformas que controlan lo que millones de personas ven todos los días. Están desarrollando automóviles que podrían decidir a quién atropellar. Es más, están construyendo máquinas, armas, que podrían matar a seres humanos en la guerra. Esto es ética a fondo.
La inteligencia artificial está aquí. Estamos usando la computación para tomar todo tipo de decisiones, además de nuevos tipos de decisiones. Planteamos preguntas a las computadoras que no tienen respuestas correctas individuales, por ser subjetivas e indefinidas y cargadas de valores.
Planteamos preguntas como: "¿A quién debe contratar la empresa?" "¿Qué actualización de qué amigo debe mostrarse?" "¿Qué convicto tiene más probabilidades de reincidir?" "¿Qué artículo de noticias o película se deben recomendar a la gente?"
Miren, sí, hemos venido usando computadoras hace tiempo, pero esto es diferente. Se trata de un giro histórico, porque no podemos anclar el cálculo para este tipo de decisiones subjetivas como anclamos el cálculo para pilotar aviones, construir puentes o ir a la luna. ¿Son los aviones más seguros? ¿Se balanceó el puente y cayó? Ahí, hemos acordado puntos de referencia bastante claros, y tenemos leyes de la naturaleza que nos guían. Nosotros no tenemos tales anclas y puntos de referencia para las decisiones sobre cuestiones humanas desordenadas.
Para complicar más las cosas, nuestro software es cada vez más potente, pero también es cada vez menos transparente y más complejo. Recientemente, en la última década, algunos algoritmos complejos han hecho grandes progresos. Pueden reconocer rostros humanos. Pueden descifrar la letra. Pueden detectar el fraude de tarjetas de crédito y bloquear el spam y pueden traducir a otros idiomas. Pueden detectar tumores en imágenes médicas. Puede vencer a los humanos en el ajedrez y en el Go.
Gran parte de este progreso viene de un método llamado "aprendizaje automático". El aprendizaje automático es diferente a la programación tradicional, donde se da al equipo instrucciones exactas, detalladas y meticulosas. Es como si uno alimentara el sistema con una gran cantidad de datos, incluyendo los datos no estructurados, como los que generamos en nuestras vidas digitales. Y el sistema aprende de esos datos. Y también, de manera crucial, estos sistemas no funcionan bajo una lógica de una sola respuesta. No producen una respuesta sencilla; es más probabilístico: "Esto es probablemente parecido a lo que estás buscando".
La ventaja es que este método es muy potente. El jefe de sistemas de inteligencia artificial de Google lo llama: "la eficacia irrazonable de los datos". La desventaja es que realmente no entendemos lo que aprendió el sistema. De hecho, ese es su poder. Esto no se parece a dar instrucciones a una computadora; se parece más a la formación de una criatura cachorro máquina que realmente no entendemos o controlamos. Así que este es nuestro problema; un problema cuando el sistema de inteligencia artificial hace cosas erróneas. Es también un problema cuando hace bien las cosas, porque ni siquiera sabemos qué es qué cuando se trata de un problema subjetivo. No sabemos qué está pensando esta cosa.
Por lo tanto, piensen en un algoritmo de contratación, un sistema usado para contratar, usa sistemas de aprendizaje automático. un sistema así habría sido entrenado con anteriores datos de empleados y tiene la instrucción de encontrar y contratar personas como las de alto rendimiento existentes en la empresa. Suena bien. Una vez asistí a una conferencia que reunió a los responsables de recursos humanos y ejecutivos, las personas de alto nivel, que usaban estos sistemas en la contratación. Estaban muy emocionados. Pensaban que esto haría la contratación más objetiva, menos tendenciosa, para dar a las mujeres y a las minorías mejores oportunidades contra los administradores humanos tendenciosos.
La contratación humana es tendenciosa. Lo sé. Es decir, en uno de mis primeros trabajos como programadora, mi jefa a veces venía allí donde yo estaba muy temprano en la mañana o muy tarde por la tarde, y decía: "Zeynep, ¡vayamos a comer!" Me dejaba perpleja por el momento extraño de preguntar. Son las 16. ¿Almuerzo? Estaba en la ruina, así que, ante un almuerzo gratis, siempre fui. Más tarde me di cuenta de lo que estaba ocurriendo. Mis jefes inmediatos no habían confesado a sus altos mandos que el programador contratado para un trabajo serio era una adolescente que llevaba pantalones vaqueros y zapatillas de deporte en el trabajo. Yo hacía un buen trabajo, solo que no encajaba por la edad y por el sexo equivocado.
Así que contratar a ciegas independiente del género y de la raza ciertamente me parece bien. Sin embargo, con estos sistemas, es más complicado, y he aquí por qué: Hoy los sistemas informáticos pueden deducir todo tipo de cosas sobre Uds. a partir de sus pistas digitales, incluso si no las han dado a conocer. Pueden inferir su orientación sexual, sus rasgos de personalidad, sus inclinaciones políticas. Tienen poder predictivo con altos niveles de precisión. Recuerden, por cosas que ni siquiera han dado a conocer. Esta es la inferencia.
Tengo una amiga que desarrolló este tipo de sistemas informáticos para predecir la probabilidad de depresión clínica o posparto a partir de datos de medios sociales. Los resultados son impresionantes. Su sistema puede predecir la probabilidad de depresión meses antes de la aparición de cualquier síntoma, meses antes. No hay síntomas, sí hay predicción. Ella espera que se use para la intervención temprana. ¡Estupendo! Pero ahora pongan esto en el contexto de la contratación.
Así que en esa conferencia de recursos humanos, me acerqué a una gerenta de alto nivel de una empresa muy grande, y le dije: "Mira, ¿qué pasaría si, sin su conocimiento, el sistema elimina a las personas con alta probabilidad futura de la depresión? No están deprimidos ahora, solo quizá en el futuro, sea probable. ¿Y si elimina a las mujeres con más probabilidades de estar embarazadas en el próximo año o dos, pero no está embarazada ahora? ¿Y si contratamos a personas agresivas, porque esa es su cultura de trabajo?" No se puede saber esto mirando un desglose por sexos. Estos pueden ser equilibrados. Y como esto es aprendizaje automático, no la programación tradicional, no hay una variable etiquetada como "mayor riesgo de depresión", "mayor riesgo de embarazo", "escala de chico agresivo". Ud. no solo no sabe lo que su sistema selecciona, sino que ni siquiera sabe por dónde empezar a buscar. Es una caja negra. Tiene capacidad de predicción, pero uno no lo entiende.
"¿Qué salvaguardia", pregunté, "puede asegurar que la caja negra no hace algo perjudicial?" Ella me miró como si acabara de romper algo valioso.
Me miró y dijo: "No quiero oír ni una palabra de esto". Dio la vuelta y se alejó. Eso sí, ella no fue grosera. Era claramente: lo que no sé, no es mi problema, vete, encara la muerte.
Un sistema de este tipo puede ser incluso menos sesgado que los administradores humanos en algunos aspectos. Y podría tener sentido monetario. Pero también podría llevar a un cierre constante pero sigiloso del mercado de trabajo a las personas con mayor riesgo de depresión. ¿Es este el tipo de sociedad la que queremos construir, sin siquiera saber que lo hemos hecho, porque nos movemos en torno a decisiones de máquinas que no entendemos totalmente?
Otro problema es el siguiente: estos sistemas son a menudo entrenados con datos generados por nuestras acciones, por huellas humanas. Podrían pues estar reflejando nuestros prejuicios, y estos sistemas podrían dar cuenta de nuestros prejuicios y la amplificación de ellos volviendo a nosotros, mientras que decimos: "Somos objetivos, es el cómputo neutral".
Los investigadores encontraron que en Google las mujeres tienen menos probabilidades que los hombres de que les aparezcan anuncios de trabajo bien remunerados. Y buscando nombres afroestadounidenses es más probable que aparezcan anuncios que sugieren antecedentes penales, incluso cuando no existan. Estos sesgos ocultos y algoritmos de la caja negra que descubren los investigadores a veces, pero a veces no, pueden tener consecuencias que cambian la vida.
En Wisconsin, un acusado fue condenado a seis años de prisión por escaparse de la policía. Quizá no lo sepan, pero los algoritmos se usan cada vez más en las decisiones de libertad condicional y de sentencia. El acusado quiso saber: ¿Cómo se calcula la puntuación? Es una caja negra comercial. La empresa se negó a que se cuestionara su algoritmo en audiencia pública. Pero ProPublica, organización no lucrativa de investigación, auditó precisamente ese algoritmo con los datos públicos que encontró, y descubrió que sus resultados estaban sesgados y su capacidad de predicción era pésima, apenas mejor que el azar, y se etiquetaban erróneamente acusados negros como futuros criminales con una tasa del doble que a los acusados blancos.
Piensen en este caso: Esta mujer llegó tarde a recoger a la hija de su madrina de una escuela en el condado de Broward, Florida, iba corriendo por la calle con una amiga. Vieron la bicicleta de un niño sin candado y una moto en un porche y tontamente saltó sobre ella. A medida que aceleraban, una mujer salió y dijo, "¡Eh, esa es la bicicleta de mi hijo!" Se bajaron, se alejaron, pero fueron detenidas.
Estaba equivocada, fue una tontería, pero también tenía solo 18 años. Tenía un par de faltas menores. Mientras tanto, detenían al hombre por hurto en Home Depot, por un valor de USD 85, un delito menor similar. Pero él tenía dos condenas anteriores por robo a mano armada. Sin embargo, el algoritmo la anotó a ella como de alto riesgo, y no a él. Dos años más tarde, ProPublica descubrió que ella no había vuelto a delinquir. Pero le era difícil conseguir un trabajo con sus antecedentes registrados. Él, por el contrario, era reincidente y ahora cumple una pena de ocho años de prisión por un delito posterior. Es evidente que necesitamos auditar nuestras cajas negras para no tener este tipo de poder sin control.
Las auditorías son grandes e importantes, pero no resuelven todos los problemas. Tomemos el potente algoritmo de noticias de Facebook, ese que sabe todo y decide qué mostrarles de las páginas de los amigos que siguen. ¿Debería mostrarles otra imagen de bebé?
¿Una nota deprimente de un conocido? ¿Una noticia importante pero difícil? No hay una respuesta correcta. Facebook optimiza para que se participe en el sitio: con Me gusta, Compartir y con Comentarios.
En agosto de 2014, estallaron protestas en Ferguson, Missouri, tras la muerte de un adolescente afroestadounidense por un policía blanco, en circunstancias turbias. La noticia de las protestas llegaron en mi cuenta de Twitter algorítmicamente sin filtrar pero en ninguna parte en mi Facebook. ¿Y qué pasaba con mis amigos de Facebook? Desactivé el algoritmo de Facebook, lo cual es difícil ya que Facebook quiere seguir manteniéndonos bajo el control del algoritmo, y vi que mis amigos estaban hablando de ello. Pero el algoritmo no me lo mostraba. He investigado esto y encontré que era un problema generalizado.
La historia de Ferguson no era compatible con el algoritmo. No es "gustable". ¿Quién va a hacer clic en "Me gusta"? Ni siquiera es fácil de comentar. Sin Me gusta y sin comentarios, el algoritmo era probable de mostrarse a aún menos personas, así que no tuvimos oportunidad de ver esto. En cambio, esa semana, el algoritmo de Facebook destacó esto, el ALS que era el desafío del cubo de hielo. Noble causa; verter agua con hielo, donar a la caridad, bien. Esa causa era súper compatible con el algoritmo. La máquina tomó esta decisión por nosotros. Una conversación muy importante pero difícil podría haber sido silenciada si Facebook hubiese sido el único canal.
Ahora, por fin, estos sistemas pueden también equivocarse de formas que no se parecen a los humanos. ¿Se acuerdan de Watson, el sistema de inteligencia artificial de IBM que arrasó con los concursantes humanos en Jeopardy? Fue un gran jugador. Pero entonces, para la final de Jeopardy, a Watson se le hizo esta pregunta: "Su mayor aeropuerto lleva el nombre de un héroe de la 2ª Guerra Mundial, la 2ª batalla más grande de la 2ª Guerra Mundial".
Chicago. Los dos humanos lo hicieron bien. Watson, por otra parte, respondió "Toronto" para una categoría de ciudad de EE.UU. El impresionante sistema también cometió un error que un humano nunca cometería, que un estudiante de segundo grado tampoco.
La inteligencia artificial puede fallar en formas que no se ajustan a los patrones de error de los humanos, de maneras que no esperamos y para las que no estamos preparados. Sería pésimo no conseguir trabajo, una vez que uno se cualifica para ello, pero sería el triple de pésimo si fue por un desbordamiento de pila en algunas subrutinas.
En mayo del 2010 un flash crash de Wall Street alimentado por un circuito de retroalimentación por el algoritmo de "venta" de Wall Street borró un billón de dólares en 36 minutos. Yo no quiero ni pensar lo que significa "error" en el contexto de las armas autónomas letales.
Los humanos siempre hemos tenido prejuicios. Los que toman decisiones y los guardias, en los tribunales, en la actualidad, en la guerra... cometen errores; pero ese es exactamente mi tema. No podemos escapar a estas preguntas difíciles. No podemos delegar nuestra responsabilidad a las máquinas.
La inteligencia artificial no nos da una tarjeta libre de ética.
El experto en datos Fred Benenson lo llama "mathwashing" o lavado matemático. Necesitamos lo contrario. Necesitamos fomentar un algoritmo de sospecha, escrutinio e investigación. Tenemos que asegurarnos de tener responsabilidad algorítmica, auditoría y transparencia significativa. Tenemos que aceptar que llevar las matemáticas y la computación a los asuntos humanos, desordenados y cargados de valores no conlleva a la objetividad; más bien, la complejidad de los asuntos humanos invaden los algoritmos. Sí, podemos y debemos usar la computación para ayudar a tomar mejores decisiones. Pero tenemos que apropiarnos de nuestra responsabilidad moral de juicio, y usar algoritmos dentro de ese marco, no como un medio para abdicar y delegar nuestras responsabilidades el uno al otro, como de humano a humano.
La inteligencia artificial está aquí. Eso significa que hay que ajustarla cada vez más a los valores humanos y a la ética humana.Gracias.
Source/Fuente:www.ted.com
No comments:
Post a Comment
All comments are welcomed as far as they are constructive and polite.