Por qué ChatGPT y tecnologías similares son más peligrosas de lo que piensas

How socialists should approach deep-learning A.I.

Article by Medina Avdagić, Revolutionary Communist International Tendency (RCIT), www.thecommunists.net

The novel Erewhon by Samuel Butler was published in 1872, fascinating readers with a quite humorous satire on a world under control of machines. Hence, it was probably the first book in the genre of fiction to deal with the idea of Artificial Intelligence. Revolutionaries like Karl Marx, who was 54-years old at that time, would not need to deal with real-life implications of Artificial Intelligence. Socialists today are not spared from those questions … unfortunately.

The public announcement by OpenAI that ChatGPT shall be accessible for all to test and improve its quality, has opened a broad discussion about the usability and dangers of specific forms of Artificial Intelligence. Examples, Capabilities and Disclaimers are visible at freegpt.one to inform the user what to expect. Since the launch of the website, one can imagine the huge amount of people who already tried it, feeding it with information. Hence, all the articles written on experiences by users of the new chatbot. In general, users are surprised how humanlike the chatbot appears in its answers. The reason for its efficiency is a quite well-developed implementation of so-called deep-learning A.I. – contrary to machine-learning A.I. Both forms have their dangers, but this article will limit itself to briefly explain the differences and then focus on the deep-learning system.

Deep-learning makes all the difference

Machine-learning is quite simple to understand as it is operating in the way most people believe technology works: massive amounts of qualified data are processed by an algorithm which makes predictions based on said qualified data. This makes it labor intense as data first needs it be qualified to be used by the algorithm, i.e., it needs to be structured in a way that makes it accessible for the algorithm.

However, deep-learning algorithms can operate with data which is not structured before in a way that simple machine-learning algorithms can’t. For example, it does not need a set of explanations from us what the difference is between a hamster and a cat. While simple machine-learning algorithms would need some categories before-hand, deep-learning A.I. (as an evolved form from the simple machine-learning) needs enough random information about hamsters and cats to find its way to differentiate them. Deep-learning systems imitate the functioning of our brains as a complex neural network and, unsurprisingly, it means that this A.I. is learning very similar to us humans. It also shows similar errors respectively similar weaknesses to the early stages of human learning.

For example, like children under 6 years old, it does not understand irony (yet). Furthermore, ChatGPT is prone to what is called “hallucinations” or, as “AI-Godfather” Geoffrey Hinton put it more precisely, confabulations. ^[1]

This means that like humans, ChatGPT mixes up information it receives and creates statements which are not true (and sometimes completely ridiculous) based on wrong associations. It is like mixing up a story from one friend with a similar story from another friend to something that has not happened that way to either one of them. It might get very ridiculous with a confabulation like announcing somebody to be of royalty. But again, children who learn to understand and develop their own categorizations are prone to similar wrong conclusions.

Finally, the deep-learning A.I. can learn in either a supervised, an unsupervised or a reinforced setting. Supervised learning means that labeled datasets are used for making predictions, while unsupervised learning means that the A.I. finds patterns without labeled datasets. Reinforcement in learning means that A.I. is learning to become more accurate based on feedback it receives.

ChatGPT in this regard is a deep-learning system which uses Reinforcement Learning with Human Feedback (RLHF). ^[2]

The reason for the hype around ChatGPT is not so much its direct implications as they happen now but rather the potential it embodies. While it is simply a text based and text producing program, it can and inevitably will be used way beyond the means of entertainment. The fact that it is a deep-learning software utilizing RLHF has three important effects. First, it collects and processes data willingly provided by probably millions of people. It is therefore de-facto fed and trained by the masses. Second, it is learning from its experience and improves at rapid pace. Its intelligence is nurtured by the fast-learning process. Third, the efficiency of the learning process is applicable to similar software. It is contagious, so to speak.

Why ChatGPT is of interest for the Pentagon (and no, not as a fun chatbot)

Revolutionaries need to apply a certain approach to technology, especially to Artificial Intelligence. We need to think in the categories of implications for class struggle, not individualistic consumerism, or even specific social challenges. It is not mainly about the pros and cons of A.I. used by students to avoid writing their homework and not even about protecting artists (although such discussions are more than legitimate).

The danger that ChatGPT embodies in regard of anti-capitalist class struggle is multifold. ^[3] First and foremost, it is of high interest for the military. “During a Q&A session, the National Geospatial-Intelligence Agency’s associate director for capabilities, Phillip Chudoba, was asked how his office might leverage AI. […] Stripping away the jargon, Chudoba’s vision is clear: using the predictive text capabilities of ChatGPT (or something like it) to aid human analysts in interpreting the world. The National Geospatial-Intelligence Agency, or NGA, a relatively obscure outfit compared to its three-letter siblings, is the nation’s premier handler of geospatial intelligence, often referred to as GEOINT. This practice involves crunching a great multitude of geographic information — maps, satellite photos, weather data, and the like — to give the military and spy agencies an accurate picture of what’s happening on Earth. […] Steven Aftergood, a scholar of government secrecy and longtime intelligence community observer with the Federation of American Scientists, explained why Chudoba’s plan makes sense for the agency. “NGA is swamped with worldwide geospatial information on a daily basis that is more than an army of human analysts could deal with,” he told The Intercept. “To the extent that the initial data evaluation process can be automated or assigned to quasi-intelligent machines, humans could be freed up to deal with matters of particular urgency. But what is suggested here is that AI could do more than that and that it could identify issues that human analysts would miss.” Aftergood said he doubted an interest in ChatGPT had anything to do with its highly popular chatbot abilities, but in the underlying machine learning model’s potential to sift through massive datasets and draw inferences.” ^[4]

OpenAI might declare in their user agreements that any use for military purpose is not allowed. However, there is no way that this American capitalist corporation (or any other) can truly keep their technology away from the U.S. military. Just think of the time when Google employees stopped the collaboration between Pentagon and Google on Project Maven by public protest. First, Google kept their collaboration but put it “outside of Project Maven” and second, both Amazon and Microsoft stepped in instead. ^[5]

Tech company Oracle (known for the same-named software) was deeply enmeshed from its very beginning with the Central Intelligence Agency (C.I.A.). Even the name originated from the C.I.A. project called “Oracle”. ^[6] There are many other examples…and this time around we are talking about even more sophisticated systems. The additional danger of deep-learning A.I. is its potency for rapid and unpredictable development, something quite frightening in the hands of the bourgeois military apparatus.

Socialists approach

When we look at revolutionary situations in the past, we see a decisive moment that makes or breaks a revolution in the persuasion of at least parts of the soldiers. Soldiers, mobilized to quell the rebellion who then turn their guns away from the fighting masses towards the oppressors…they truly dub a rebellion revolution. There is no such chance with guns controlled by Artificial Intelligence.

The RCIT has stated, that the correct approach for socialists towards those technologies must be Oppose and Obstruct. First, deep-learning A.I. (like ChatGPT) marks a certain evolutionary step of Artificial Intelligence that is notably different to the ones before. It learns faster and is more capable of unsupervised complex learning.

Many doubt that any bigger danger might occur in near future, but there we can see the problem with bourgeois science respectively technological experts. Bourgeois scientist and technology experts mostly understand developments in a limited, gradual, and non-contradictory manner. To give an example. when they calculate the risks of climate change, they declare certain marks like 1.5-degree Celsius increase in global temperature as risk factors and calculate their simulations on such basis. But nature is a deeply complex system that does not obey to the mechanic understanding of bourgeois science. Already now, the pattern of jet streams is altered, causing storms, droughts, and floods in a dangerous way. Reaching the 1.5-degree Celsius mark happens much faster than they have calculated because global warming has exponential influences. With the very same simple “scientific” mind, they declare the limitations of Artificial Intelligence. Why on earth should we trust them?

In case of climate change and Artificial Intelligence, bourgeois experts believe in the capitalist system to be capable of avoiding catastrophic developments. They do so because of the ideologic pressure and the material interests, even if the whole history of capitalism and the reality of today’s world have proven them wrong. Socialists, however, reject the idea of reforming the beast!

ChatGPT will be (or maybe is already) used in a dangerous way in the military. It provides a breakthrough in deep-learning algorithms which develop at a rapid pace, and which are not based on the society of workers and oppressed. It offers nothing to our class or humanity worth the dangers it embodies.

Maybe you are also interested in...

Cómo los socialistas deberían abordar el aprendizaje profundo de la IA

Artículo de Medina Avdagić, Corriente Comunista Revolucionaria Internacional (CCRI), www.thecommunists.net

La novela Erewhon de Samuel Butler se publicó en 1872, fascinando a los lectores con una sátira bastante humorística sobre un mundo bajo el control de las máquinas. Por lo tanto, probablemente fue el primer libro del género de ficción en tratar la idea de la Inteligencia Artificial. Revolucionarios como Karl Marx, que tenía 54 años en ese momento, no habrían necesitado lidiar con las implicaciones de la vida real de la Inteligencia Artificial. Los socialistas de hoy no se libran de esas preguntas... por desgracia.

El anuncio público de OpenAI de que ChatGPT será accesible para todos para probar y mejorar su calidad ha abierto un amplio debate sobre la usabilidad y los peligros de formas específicas de Inteligencia Artificial. Los ejemplos, las capacidades y los descargos de responsabilidad están visibles en freegpt.one para informar al usuario qué esperar. Desde el lanzamiento del sitio web, uno puede imaginar la gran cantidad de personas que ya lo probaron, alimentándolo con información. De ahí todos los artículos escritos sobre las experiencias de los usuarios del nuevo chatbot. En general, los usuarios se sorprenden de lo humano que aparece el chatbot en sus respuestas. La razón de su eficiencia es una implementación bastante bien desarrollada de la llamada IA de aprendizaje profundo – contrario al aprendizaje automático A.I. Ambas formas tienen sus peligros, pero este artículo se limitará a explicar brevemente las diferencias y luego se centrará en el sistema de aprendizaje profundo.

El aprendizaje profundo marca la diferencia

El aprendizaje automático es bastante simple de entender, ya que funciona de la manera en que la mayoría de la gente cree que funciona la tecnología: un algoritmo procesa cantidades masivas de datos calificados que hace predicciones basadas en dichos datos calificados. Esto hace que el trabajo sea intenso, ya que los datos primero necesitan estar calificados para ser utilizados por el algoritmo, es decir, deben estar estructurados de una manera que los haga accesibles para el algoritmo.

Sin embargo, los algoritmos de aprendizaje profundo pueden operar con datos que antes no estaban estructurados de una manera que los algoritmos simples de aprendizaje automático no pueden. Por ejemplo, no necesita un conjunto de explicaciones de nuestra parte cuál es la diferencia entre un hámster y un gato. Si bien los algoritmos simples de aprendizaje automático necesitarían algunas categorías de antemano, la I.A. de aprendizaje profundo. (como una forma evolucionada del aprendizaje automático simple) necesita suficiente información aleatoria sobre hámsteres y gatos para encontrar la manera de diferenciarlos. Los sistemas de aprendizaje profundo imitan el funcionamiento de nuestros cerebros como una red neuronal compleja y, como era de esperar, significa que esta I.A. es un aprendizaje muy similar al de nosotros los humanos. También muestra errores similares, respectivamente, debilidades similares a las primeras etapas del aprendizaje humano.

Por ejemplo, como los niños menores de 6 años, no entiende la ironía (todavía). Además, ChatGPT es propenso a lo que se llama "alucinaciones" o, como dijo más precisamente el "Padrino de la IA" Geoffrey Hinton, confabulaciones. ^[1]

Esto significa que, al igual que los humanos, ChatGPT confunde la información que recibe y crea declaraciones que no son ciertas (y, a veces, completamente ridículas) basadas en asociaciones incorrectas. Es como mezclar una historia de un amigo con una historia similar de otro amigo con algo que no les ha pasado de esa manera a ninguno de los dos. Puede volverse muy ridículo con una confabulación como anunciar que alguien pertenece a la realeza. Pero nuevamente, los niños que aprenden a comprender y desarrollar sus propias categorizaciones son propensos a conclusiones erróneas similares.

Finalmente, la I.A. de aprendizaje profundo. puede aprender en un entorno supervisado, no supervisado o reforzado. El aprendizaje supervisado significa que los conjuntos de datos etiquetados se utilizan para hacer predicciones, mientras que el aprendizaje no supervisado significa que la I.A. encuentra patrones sin conjuntos de datos etiquetados. El refuerzo en el aprendizaje significa que la I.A. está aprendiendo a ser más preciso en función de los comentarios que recibe.

ChatGPT en este sentido es un sistema de aprendizaje profundo que utiliza el aprendizaje por refuerzo con retroalimentación humana (RLHF). ^[2]

La razón de la exageración en torno a ChatGPT no son tanto sus implicaciones directas como suceden ahora, sino el potencial que representa. Si bien es simplemente un programa basado en texto y que produce texto, puede e inevitablemente se utilizará mucho más allá de los medios de entretenimiento. El hecho de que sea un software de aprendizaje profundo que utiliza RLHF tiene tres efectos importantes. En primer lugar, recopila y procesa datos proporcionados voluntariamente por probablemente millones de personas. Por lo tanto, es alimentado y entrenado de facto por las masas. En segundo lugar, está aprendiendo de su experiencia y mejora a un ritmo acelerado. Su inteligencia se nutre del rápido proceso de aprendizaje. Tercero, la eficiencia del proceso de aprendizaje es aplicable a software similar. Es contagioso, por así decirlo.

Por qué ChatGPT es de interés para el Pentágono (y no, no como un chatbot divertido)

Los revolucionarios necesitan aplicar cierto enfoque a la tecnología, especialmente a la Inteligencia Artificial. Necesitamos pensar en las categorías de implicaciones para la lucha de clases, no en el consumismo individualista, o incluso en desafíos sociales específicos. No se trata principalmente de los pros y los contras de la IA. utilizado por los estudiantes para evitar escribir sus tareas y ni siquiera para proteger a los artistas (aunque este tipo de discusiones son más que legítimas).

El peligro que encarna ChatGPT con respecto a la lucha de clases anticapitalista es múltiple. ^[3] En primer lugar, es de gran interés para los militares. “Durante una sesión de preguntas y respuestas, se le preguntó al director asociado de capacidades de la Agencia Nacional de Inteligencia Geoespacial, Phillip Chudoba, cómo su oficina podría aprovechar la IA. […] Eliminando la jerga, la visión de Chudoba es clara: usar las capacidades de texto predictivo de ChatGPT (o algo parecido) para ayudar a los analistas humanos a interpretar el mundo. La Agencia Nacional de Inteligencia Geoespacial, o NGA, un equipo relativamente oscuro en comparación con sus hermanos de tres letras, es el principal manejador de inteligencia geoespacial del país, a menudo denominado GEOINT. Esta práctica implica analizar una gran cantidad de información geográfica (mapas, fotos satelitales, datos meteorológicos y similares) para brindar a las agencias militares y de espionaje una imagen precisa de lo que sucede en la Tierra. […] Steven Aftergood, estudioso del secreto gubernamental y observador de la comunidad de inteligencia desde hace mucho tiempo en la Federación de Científicos Estadounidenses, explicó por qué el plan de Chudoba tiene sentido para la agencia. “NGA está inundada diariamente con información geoespacial mundial que es más de lo que un ejército de analistas humanos podría manejar”, dijo a The Intercept. “En la medida en que el proceso inicial de evaluación de datos pueda automatizarse o asignarse a máquinas casi inteligentes, los humanos podrían quedar libres para tratar asuntos de particular urgencia. Pero lo que se sugiere aquí es que la IA podría hacer más que eso y podría identificar problemas que los analistas humanos pasarían por alto”. Aftergood dijo que dudaba que el interés en ChatGPT tuviera algo que ver con sus habilidades de chatbot altamente populares, sino con el potencial del modelo de aprendizaje automático subyacente para filtrar conjuntos de datos masivos y sacar inferencias”. ^[4]

OpenAI podría declarar en sus acuerdos de usuario que no se permite ningún uso con fines militares. Sin embargo, no hay forma de que esta corporación capitalista estadounidense (o cualquier otra) pueda realmente mantener su tecnología alejada del ejército estadounidense. Solo piense en el momento en que los empleados de Google detuvieron la colaboración entre el Pentágono y Google en el Proyecto Maven por protesta pública. Primero, Google mantuvo su colaboración, pero la puso "fuera del Proyecto Maven" y segundo, tanto Amazon como Microsoft intervinieron en su lugar. ^[5]

La empresa de tecnología Oracle (conocida por el software del mismo nombre) estuvo profundamente involucrada desde el principio con la Agencia Central de Inteligencia (C.I.A.). Incluso el nombre se originó en la C.I.A. proyecto llamado “Oracle”. ^[6] Hay muchos otros ejemplos... y esta vez estamos hablando de sistemas aún más sofisticados. El peligro adicional del aprendizaje profundo de la I.A. es su potencia para un desarrollo rápido e impredecible, algo bastante aterrador en manos del aparato militar burgués.

Enfoque socialista

Cuando miramos situaciones revolucionarias en el pasado, vemos un momento decisivo que hace o deshace una revolución en la persuasión de al menos partes de los soldados. Soldados, movilizados para sofocar la rebelión que luego desvían sus armas de las masas que luchan hacia los opresores... realmente llaman revolución a la rebelión. No existe tal posibilidad con armas controladas por Inteligencia Artificial.

La CCRI ha declarado que el enfoque correcto para los socialistas hacia esas tecnologías debe ser Oponerse y Obstruir. En primer lugar, la IA de aprendizaje profundo (como ChatGPT) marca un cierto paso evolutivo de la Inteligencia Artificial que es notablemente diferente a los anteriores. Aprende más rápido y es más capaz de un aprendizaje complejo sin supervisión.

Muchos dudan de que pueda ocurrir un peligro mayor en un futuro cercano, pero ahí podemos ver el problema con la ciencia burguesa y los expertos tecnológicos. Los expertos en tecnología y científicos burgueses en su mayoría entienden los desarrollos de una manera limitada, gradual y no contradictoria. Para dar un ejemplo, cuando calculan los riesgos del cambio climático, declaran ciertas marcas como un aumento de 1,5 grados centígrados en la temperatura global como factores de riesgo y calculan sus simulaciones sobre esa base. Pero la naturaleza es un sistema profundamente complejo que no obedece a la comprensión mecánica de la ciencia burguesa. Ya ahora, el patrón de las corrientes en chorro se altera, provocando tormentas, sequías e inundaciones de forma peligrosa. Alcanzar la marca de 1,5 grados centígrados sucede mucho más rápido de lo que han calculado porque el calentamiento global tiene influencias exponenciales. Con la misma mente “científica” simple, declaran las limitaciones de la Inteligencia Artificial. ¿Por qué diablos deberíamos confiar en ellos?

En el caso del cambio climático y la Inteligencia Artificial, los expertos burgueses creen que el sistema capitalista es capaz de evitar desarrollos catastróficos. Lo hacen por la presión ideológica y los intereses materiales, aunque toda la historia del capitalismo y la realidad del mundo actual les hayan demostrado que están equivocados. ¡Los socialistas, sin embargo, rechazan la idea de reformar a la bestia!

ChatGPT se usará (o tal vez ya se usa) de manera peligrosa en el ejército. Proporciona un gran avance en los algoritmos de aprendizaje profundo que se desarrollan a un ritmo rápido y que no se basan en la sociedad de trabajadores y oprimidos. No ofrece nada a nuestra clase o a la humanidad que valga los peligros que representa.