Scribd Logo
Upload

Welcome to Scribd!

  • NOBLE, Safya - Algorítmos Da Opressão

    Uploaded by

    Larissa Kilian
    27 views13 pages

    Original Title

    NOBLE, Safya_Algorítmos da opressão

    Copyright

    © © All Rights Reserved

    Available Formats

    PDF or read online from Scribd

    Did you find this document useful?

    Is this content inappropriate?

    Report this Document

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    Download as pdf
    27 views13 pages

    NOBLE, Safya - Algorítmos Da Opressão

    Uploaded by

    Larissa Kilian

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    Download as pdf
    of 13
    ALGORITMOS DA OPRESSND ‘atuzido do inglés po Felipe Damorim INTRODUGAO © Pons Dos Aucorrrmos Este livro € sobre o poder dos algoritmos naera do neolberalismo eas formas plas quais cessas decisdes digits reforgam relagies socials, ‘opressivas ¢ implementam novas maneiras de perflagio racial, o que eu chamei de«demarea ‘20 teenolégiea-(NT: No original, technological redlining. “Rediining’ lteralmente, “aplicagio de linha vermelha", € um termo utilizado nos Estados Unidos para se referir& prtiea de de- ‘arcar éreas urbanas, de acordo com eritrios raciais ede classe, para limitar 0 acesso de mo- radores das regies demarcadas a empréstimos financeros imobilidrios). Tornando visiveis os rmeios como capital, raga e género sio fatores na eriagio de condigdes desiguais, umino vé- vias formas de segregagio teenol6gica que estfo «em ascensdo. O uso quase onipresente de sof- ‘wares dirigides por algoritmos, tanto visiveis, quanto invisiveis no eotidiano de todos, exige ‘uma inspeggo mais rigorosa de quais valores io priorizados em tas sistemas automatizados, de decisio. Tipicamente, a pritiea da demar- cago geogrifica 6 mais utilizada no mercado imobilirio e em efreulos bancérios, o que cria © aprofunda desigualdades raciais quando, por cexemplo, pessoas no brancas tém maior pro- babilidade de pagar taxas de juros ou entradas maiores por viverem em bairros de baixa renda, dependemos;-querendo-ou-nio. Acredito que a inteligéncia artificial se tornard uma questo de direitos humanos de grande importaneia no séeulo XXI. Estamos apenas comegando a com- preender as consequéncias de longo prazo das ‘de masearare aprofundar a desigualdade social. Este livro € apenas 0 comego da tentativa de tor- nar essas consequéncias visiveis. Haveré mais, de minha parte e de outras pessoas, e tentare- ‘mos entender as consequéncias de processos automatizados de tomada de decisio via algo- ritmos na sociedade. Parte do desafio de compreender a opres- io algoritmica 6 perceber que as-formulagies res das sio-feitas por seres-humanos. Embora fre ‘quentemente pensemos em termos como “big data” e“algoritmos” como sendo benignossnen ‘10s ou objetivos, eles sao tudo menos isso. AS pessoas que definem essas decisdes detém todos 0s tipos de valores, muitos dos quais promoven- do abertamente racismo, sexismo € nogies-fal+ 8 ‘sas-de-meritocracia, 0 que esti bem documen- tado em estudos sobre o Vale do Silicio e outros corredores de tecnologia Por exemplo, em meio a uma investiga fo federal sobre uma suposta diferenca sala Fial persistente no Google, na qual funcionérias ‘mulheres sistematicamente recebiam menos do que os funcionérios homens dentro da compa- nhia, um manifesto “antidiversidade” assinado por James Damore se tornou viral em agosto de 2017,' recebendo apoio de muitos empregados do Google, que argumentaram que mulheres ‘io psicologicamente inferiores e incapazes de ‘ser engenheiras de software tao boas quanto os homens, entre outras declaragdes patentemen- te falsas e sexistas. Enquanto este livro ia para 1 grafica, muitos executivos e engenheiros do Google estavam ativamente refutando as decla- ragdes do engenheiro que, segundo relatos, tra- balha na infraestrutura de buscas da empresa. Procedimentos judiciais foram iniciados, boicotes a0 Google vindos de politicos da extre- ‘ma direita nos Estados Unidos foram convoca- dos, ¢ pedidos por compromissos explicitos de igualdade racial ede género no Google eno Vale do Silicio e suas adjacéncias estio a camino. O ‘que essa arenga antidiversidade sublinhou para ‘mim enquanto eserevia este livro é que algumas ddas mesmas pessoas que esto desenvolvendo algoritmos e arquitetura de pesquisa mostram- se dispostas a promover abertamente atitudes sexistas e racistas no trabalho, ao mesmo tempo {que devemos acreditar que elas estio desenvol- vendo ferramentas de tomada de decisio “neu- tras" e“objetivas’. Seres humanos estio criando as plataformas digitais que usamos e, conforme eu apresento evidéncias do-desleixo-e-de-falta ‘de consideragio como frequentemente figuram rulheres e pessoas nao brancas nos resultados desses sistemas, vai se tomnar cada ver mais di- as empresas de tecnologia dissociar témicas e desiguais, do vies ideolbgico de extrema direita de alguns de seus empregados e dos produtos que eles en- tregam ao piblico. Meu objetivo neste livro é fomentar a ex- ploragio de alguns desses processos de arra- zoamento digital e como eles se tornaram tio fundamentais para a classificagio e organizacio da informagio, e qual 6 0 prego disso. Como re- sultado, este livro se preocupa em grande parte ‘com 0 exame da cooptacdo comercial de iden- tidades, experiéncias e comunidades negras znas mais poderosas companhias tecnologicas e-em especial no Google. Li atentamente uns poucos casos distintos de opressio algoritmica pela profundidade do seu significado social em alavancar uma diseussio ptbliea sobre as im- plicagdes mais vastas de como as ferramentas de selecio de informagao gerenciadas de forma privada e sem transparéncia se tornaram essen- ciais em muitas decisoes guiadas por dados in- formatizados. Quero-que-tenhamos"um-amplo sistematicamente-marginalizadas'¢ oprimidas. Ainda iei fornecer evidéncias e argumentar, em conclusio, que grandes monopélios de teenolo- sia, como 0 Google, precisam ser divididos e re- gulados, porque seu poder consolidado e grande infiuéncia cultural tornam a competigao impos- sivel. ‘ i a G-umeameage-i-democracia, como atualmente esti vindo a tona conforme analisamos 0 fluxo de informagies provenientes de midias digitais ‘como 0 Google eo Facebook na cauda da eleigdo presidencial nos Estados Unidos de 2016. Considero como pano de fundo de meu trabalho um histérieo de doze anos de carreira profissional em marketing e propaganda mul- ticultural, tempo em que me dediquei a cons: truir marcas corporativas e vender produtos para afro-americanos e latinos (antes de me tornar uma professora universitiria). Na 6po- ca, eu acreditava, como muitos profissionais de marketing com antecedentes semelhantes aos ‘meus, que as companhias deviam dar atengao fis necessidades de pessoas nao braneas © de- monstrar respeito pelos consumidores a0 ofe- recer servigos is comunidades nao brancas, assim como 6 feito em relagdo a quase todas as ooutras pessoas. Afinal de contas, ser acessivel e responsivel com os consumidores marginaliza- dos era uma forma de gerar mais oportunida- des de vendas, Passei uma quantidade de tempo cequivalente realizando gerenciamento de riseo e relagdes pablicas para proteger companhias de qualquer risco adverso pelo qual elas poderiam passar por desconsiderar, inadvertida ou deli- beradamente, constimidores no brancos que orventura viessem a considerar uma marea como racista ou insensfvel. Proteger meus ex clientes de atuar de forma insensivel a género e raga e ajudé-losa alavancar suas marcas criando profundas ligagOes emocionais e psicologicas aos seus produtos entre comunidades no bran- as foi minha preocupacio profissional por muitos anos, o que fez com que uma experiéncia, pela qual passe no outono de 2010 fosse profun- ‘damente impactante. Em poucos minutos pes- quisando na internet, vivenciei uma tempestade perfeita de insultos e injérias dos quais eu nfo podia escapar. Enquanto buscava no Google por coisas que poderiam ser interessantes para mi- tha enteada e sobrinhas, fui surpreendida pelos resultados. Minha busca pelas palavras-chave “meninas negras” apresentou XotaNegraQuen- te.com como meu primeiro resultado. Que re- sultado! Desde entdo, passei inimeras horas ensinando e pesquisando todos os meios pelos quais 0 Google poderia falhar completamente quanto a fornecer informagio confiével e erivel sobre mulheres e pessoas no braneas e, ainda assim, aparentemente, nfo sofrer qualquer tipo de repereussio, Dois anos depois desse inciden- te, realize essas pesquisas novamente, apenas para encontrar resultados semelhantes, como documentado na Figura L1. Em 2012, eserevi um artigo para a revis- ta Bitch sobre como mulheres e feminismo so ‘marginalizados nos resultados de pesquisa. Em eee agosto de 2012, o Panda (um update do algo- ritmo de busca’ do Google) fot langado e por- nografia nfo era mais a primeira sequéncia de resultados para “meninas negras ‘meninas e mulheres nao braneas, como I ‘easiticas, ainda eram pornoficadas. Em agosto daquele ano, 0 algoritmo mudou, e pornografia, passou a ser suprimida no easo de uma busea por “meninas negras”. Frequentemente me per- ggunto que tipos de pressao explicam a mudanca dos resultados de pesquisa no decorrer do tem- po. E impossivel saber quando e o que influen- cia o design privado de algoritmos, além de que seres humanos os eriam e que eles ndo esto submetidos ao debate piblico, exceto quando ‘nos engajamos em andliseeritica e protestos. ———a| Este livro nasceu para destacar casos de tais falhas de dados guiadas por algoritmos es- peclfieos as pessoas nfo brancas e mulheres e sublinhar as formas estruturais pelas quais 0 racismo e o sexismo se tornaram fundamentals, ‘a0 que batizei de opressdo algoritmioa. Escrevo com o espirito do pensamento eritico de outras ‘mulheres no brancas, como Latoya Peterson, ‘cofundadora do blog Racialicious, que opinou ES Aplieativo) fundamental da internet. Peter- son _argumentou que a-antinegeitude 6 a fun- dacZo a partir da qual todo racismo voltado a ‘outros grupos é derivado. Como ela disse, tio perfeitamente, “A ideia de uma API er*ola me faz pensar em uma API racista, o que é um dos nossos argumentos principais esse tempo todo — opressdo opera nos mesmos formatos, segue ‘0s mesmos scripts toda vez. Pode ser ajustado para certos contextos espeefficos, mas é sempre ‘© mesmo e6digo-fonte. E.a chave para desmon- tic-lo é reconhecer quantos de n6s estamos pre- sos nesses mesmos padrdes bisicos e modificar nnossas proprias atitudes” As alegagies de Pe- terson condizem com o que muitas pessoas sen- tem sobre a hostiidade da internet com relagao 4s pessoas nfo brancas, particularmente em sua antinegritude, o que mostra qualquer leitura su- perfcial de comentarios no Youtube ou outros foruns de mensagens. Em certo nivel, o ra ‘mo cotidiano e os comentarios na internet si0 uma coisa abomindvel por sis6, 0 que jé foi de- talhado por outros; mas a situagio ¢ eompleta- ‘mente diferente com relagio a uma plataforma comporativa vis-i-vis, uma busea pela internet ‘moldada por algoritmos que apresenta racismo e sexismo como os primeiros resultados. Esse processo reflete uma légiea corporativa ou de negligéncia deliberada ou um imperativo mer- cadologico que ganha dinheiro com racismo e sexismo. Esta questio é a base deste livro. Nas proximas paginas, diseuto como é ossivel que “quente”, “docinha”, ou qualquer 4 outro tipo de “xota negra” surja como a re- presentagio priméria de meninas e mulheres negras na primeira pagina de uma busca no Google, e sugiro que alguma outra coisa além do melhor, mais erfvel, ou mais eonfidvel f- x0 de informagdo guia © Google. Claro, Google Search é uma empresa de publicidade, nfo uma ‘empresa confidvel de informagio, Ne minimo, quando no queremos encontrar racismo e sexismo, e ainda assim eles nos encontram. As implicagdes de-tomae ‘das-de-decisio-algoritmicas dessa natureza se estendem para outros tipos de buscas no Goo- gle e outras plataformas de mi tal, e sf0 © comeco de uma reavaliagao muito necesséria dda informagéo como um bem pablico e das im- plicagdes de os nossos recursos de informagao ‘estarem sendo governados por companhias de ublicidade sob controle corporative. Estou acrescentando minha vor a de varios estudio- 05, como Helen Nissenbaum e Lucas Introna, Siva Vaidhyanathan, Alex Havalais, Christian Fuchs, Frank Pasquale, Kate Crawford, Tarle- ton Gillespie, Sarah T. Roberts, Jaron Lanier Elad Segev, para nomear uns poucos, que le- vantam eriticas ao Google e outras formas-de incluindo inteligéncia artificial) na esperanga de que mais, pessoas considerem alternativas. 25 No decorrer dos anos, concentrei minha pesquisa em desvelar os muitos meios pelos ‘quais pessoas afro-americanas foram cont constrangidas em sistemas de classificacao, do mecanismo comercial de busca do Google as, bases de dados de bibliotecas. Essa concentra (elo nasceu da minha formacio e pesquisa nas reas de biblioteconomia e ciéncias da informa- go, Penso nessas questies através das lentes de analises criticas de ciéneias da informagao e de estudos de raga e género. Conforme marke- lcidade diretamente moldaram a for- bbusea-e-atividades-em-redes sociais, eu estudei por que plataformas de midia digital sao retum- bantemente caracterizadas como “teenologias sneutras” na percepgio piiblica e, infelizmente, nas universidades. Histérias de “erros” sendo localizados em sistemas nio sugerem que as logicas organizatérias da internet possam estar quebradas, mas, ao invés disso, que so lapsos ‘solados ocasionais em que algo terrivelmente cerrado acontece com sistemas quase perfeitos. Com a exceeio dos muitos estudiosos a que me refiro neste trabalho, e os jornalistas, blo- gueiros e delatores em relagio aos quais serei deseuidada ao niio nomear, muito poucas pes- ‘soas esto tomando nota disto, Precisamos que todas as vozes venham a frente e eausem um impacto sobre as politicas piblicas voltadas ao cexperimento social mais desregulado de nossos ‘tempos: a Internet. 26 Essas aberragbes nos dados vieram a luz de diversas formas. Em 2015, a U'S. News and World Report relatou que um “ero no algo- ritmo do Google levou a um eerto nimero de problemas envolvendo mareagio automética de individuos e softwares de reconhecimento e rostos que aparentemente deveriam ajudar pessoas a loalizarem imagens mais facilmente. O primeiro problema para o Google era que seu aplicativo de fotos automaticamente mareava afro-americanos como “macacos” ¢ “animals” ‘A segunda maior questio relatada pelo Post era que buseas no Google Maps pela palavra “c¥*olo” levavam a um mapa da Casa Branca durante presidéncia Obama, uma historia que viralizou na internet depois que a personalidade das midias sociais Deray McKesson tuitou sobre 6 assunto, Esses incidentes foram eondizentes com relatos de imagens fetas em Photoshop da primeira-dama Michelle Obama com um rosto de macaeo que circularam pela busea do Google Imagens em 2009. Em 2015, anda era possivel achar resquicis digitais das autossugestes do Google que associavam Michelle Obama com rmacacos. Protestos vindos da Casa Branca le- varam o Google a forgar a imagem para baixo na lista de imagens, tirando-a da primeira pé- gina para que assim néo fosse tio vsivel* Em cada caso, -posigio do-Googlefoique eles nio ‘ram sesponséveis por seusalgoritmos.e que 0s _prablemas-com-os-resultados-seriam-logo-re~ “solvidos. No artigo do Washington Post sobre "Casa Cr*ola’ @resposta veio em linha com ‘outros pedidos de desculpas feitos pela compa nia: "Alguns resultados inapropriados esto aparecendo no Google Maps quando nao deve- iam, e nos desculpamos por qualquer ofensa ue isso possa ter eausado”, disse um porta-voz, do Google para a U.S. News através de um -mail na tarde de terca-feira. “Nossas equipes esto trabalhando para corrigir prontamente essa questio.”” eae Esses erros de humanos ¢ méquinas nfo so desprovidos de consequencias e existem di- versos casos que demonstram como racismo-e. sexismo si parte da argitetura elinguagem da tecnologia, uma questio que pede por atencao e remediagio. De varias maneiras esses casos ‘que apresento sio especiioos as vidas e expe- riéneias de mulheres e meninas negra, pessoas Targamente subestudadas por pesquisadores, ‘que permanecem como sempre precérias, ape- sar de vivermos na era de Oprah e Beyoneé em Shondaland. As implicagées de tamanha mar- Binalizacio sio profundas. Os entendimentos Sobre vieses sexstas e racstas que trago aqut so importantes porque organizagies que lidam com informagio, de bibloteeas,exeolas e uni= des a agéncias governamentas,si0 cada ‘vez mais dependentes de, ou estio sendo pre- teridas por, uma variedade de “ferramentas® da web como se nio houvesse consequeéncias po- Iitica, socais e econdmicas resultantes disso, ‘Nos precisamos imaginar novas possibilidades nas dreas de acesso a informagio e geragio de conhecimento, particularmente conforme man- nomen chetes sobre “algoritmos racistas” continuam a surgir na midia, reeebendo diseussdes e andlises {que nao vio além do superficial Inevitavelmente, um livro escrito sobre algoritmos ou 0 Google no século XI fica de- satualizado assim que 6 impresso. A tecnolo- ia est mudando rapidamente, assim como as configuracdes das companhias de tecnologia, através de fusdes, compras e dissolugdes. Estu- {diosos trabalhando nos campos de informagao, ‘comunicagao e tecnologia tém dificuldades-pare. 0) cam esforgo parn rtalizn tm processo 0 QA” “vfendmeno-que pode mudar ou se-transfor. ‘marem algume outra cots logo depois no aE come = +) ia ie=t= minis! . ew a=—— = ye og map "igo tse & atures re Como uma estudiosa de informagio-e po- dex, estou mais interessada em comunicar uma série de processos que aconteceram e que for- rnecem evidéncia de uma constelagio de proble- mas que o piblico pode eonsiderarsignificati- ‘0s e importantes, particularmente conforme tecnologia causa impacto nas relagées sociais € eria consequéncias nio intencionais que me- recem maior atengéo. Passei varios anos esere- vendlo este livro e com 0 tempo os algoritmos do Google de fato mudaram, de forma que uma basea por “meninas negras” hoje ndo produz mais uma quantia de resultados pornogrificos ‘nem préxima do que apresentava em 2011. Ain- 4a assim, novas stuagdes.de-racismo.esexismo

    You might also like