{"id":4041,"date":"2024-04-22T06:59:00","date_gmt":"2024-04-22T04:59:00","guid":{"rendered":"https:\/\/www.safecreative.org\/tips\/es\/?p=4041"},"modified":"2025-08-21T12:43:18","modified_gmt":"2025-08-21T10:43:18","slug":"cognition-exagero-las-capacidades-de-su-ia-devin","status":"publish","type":"post","link":"https:\/\/www.safecreative.org\/tips\/es\/cognition-exagero-las-capacidades-de-su-ia-devin\/","title":{"rendered":"Cognition exager\u00f3 las capacidades de su IA, Devin"},"content":{"rendered":"\n<p>Con tanta IA generativa de m\u00fasica, texto, ilustraciones&#8230; a veces nos olvidamos de que los programas inform\u00e1ticos tambi\u00e9n son obras protegibles por derechos de autor.<\/p>\n\n\n\n<p>Relacionado:<a href=\"https:\/\/www.safecreative.org\/tips\/es\/proteccion-de-programas-informaticos-y-bases-de-datos-en-mexico\/\" target=\"_blank\" rel=\"noreferrer noopener\"> Protecci\u00f3n de programas inform\u00e1ticos y bases de datos en M\u00e9xico<\/a> <\/p>\n\n\n\n<p>En este \u00e1mbito, han ido apareciendo proyectos que proponen soluciones integrales, capaces de desarrollar programas enteros. Surgen cuestiones de todo tipo, las m\u00e1s urgentes sobre seguridad, pero tambi\u00e9n sobre propiedad intelectual. No est\u00e1 claro a qui\u00e9n pertenecer\u00edan los derechos de aplicaciones generadas por completo por IA. Seg\u00fan algunos especialistas y de acuerdo a la legislaci\u00f3n actual en Europa, por ejemplo, puede que a nadie.<\/p>\n\n\n\n<p>Cognition Labs anunci\u00f3 el mes pasado a <a href=\"https:\/\/www.cognition-labs.com\/introducing-devin\">Devin<\/a> como \u00abla primera IA ingeniera de <em>software\u00bb<\/em>. El v\u00eddeo de la presentaci\u00f3n lleva 1 mill\u00f3n de visualizaciones en YouTube. A diferencia de otros modelos capaces de producir c\u00f3digo, que ayudan o acompa\u00f1an a los desarrolladores en su trabajo, Devin destaca por actuar como un agente, dicen, \u00abaut\u00f3nomo\u00bb. Tiene su propia consola, editor de c\u00f3digo y navegador para resolver tareas en modo \u00abmanos libres\u00bb.<\/p>\n\n\n\n<blockquote class=\"twitter-tweet\"><p lang=\"en\" dir=\"ltr\">Today we&#39;re excited to introduce Devin, the first AI software engineer.<br><br>Devin is the new state-of-the-art on the SWE-Bench coding benchmark, has successfully passed practical engineering interviews from leading AI companies, and has even completed real jobs on Upwork.<br><br>Devin is\u2026 <a href=\"https:\/\/t.co\/ladBicxEat\">pic.twitter.com\/ladBicxEat<\/a><\/p>&mdash; Cognition (@cognition_labs) <a href=\"https:\/\/twitter.com\/cognition_labs\/status\/1767548763134964000?ref_src=twsrc%5Etfw\">March 12, 2024<\/a><\/blockquote> <script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script>\n\n\n\n<p>En el anuncio en X (Twitter), Cognition declaraba que Devin hab\u00eda completado <strong>trabajos reales en Upwork,<\/strong> superado con \u00e9xito <strong>entrevistas<\/strong> para puestos de ingenier\u00eda en empresas l\u00edderes en IA, <strong>y que resuelve errores<\/strong> en repositorios abiertos de GitHub sin ayuda en un 13&#8217;86% de los casos.<\/p>\n\n\n\n<p>Todas estas declaraciones se est\u00e1n poniendo en duda tras una publicaci\u00f3n en el canal de YouTube <a href=\"https:\/\/www.youtube.com\/watch?v=tNmgmwEtoWE\" target=\"_blank\" rel=\"noreferrer noopener\">Internet of Bugs<\/a>. Aunque hace un mes, otros <a href=\"https:\/\/www.reddit.com\/r\/cscareerquestions\/comments\/1bd12gc\/comment\/kujyidr\/?context=3\" target=\"_blank\" rel=\"noreferrer noopener\">desarrolladores<\/a> ya se cuestionaba si Cognition Labs podr\u00eda estar exagerando o haciendo <em>cherry picking:<\/em><\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p>\u00abLa mayor\u00eda de las preguntas de las entrevistas de trabajo no son dif\u00edciles de resolver; hasta ChatGPT puede.\u00bb<\/p>\n<cite>(<a href=\"https:\/\/twitter.com\/bindureddy\/status\/1768056098995814836\" target=\"_blank\" rel=\"noreferrer noopener\">Bindu Reddy<\/a>)<\/cite><\/blockquote>\n\n\n\n<p>Un v\u00eddeo del canal <a href=\"https:\/\/www.youtube.com\/watch?v=kVQzJ2K2Wpw\" target=\"_blank\" rel=\"noreferrer noopener\">Volo<\/a> muestra c\u00f3mo recrear la demo de Devin con ChatGPT. Tambi\u00e9n se\u00f1ala que en el \u00edndice de referencia que usa Cognition, <a href=\"https:\/\/swebench.com\/\" target=\"_blank\" rel=\"noreferrer noopener\">SWE-bench<\/a>, Llama supera a GPT-4, lo cual es raro. Y la comparaci\u00f3n no es justa: Devin combina varias herramientas, no es un modelo como los dem\u00e1s. Otros apuntan que Devin <a href=\"https:\/\/www.youtube.com\/watch?v=Dbog8Yw3kEM\" target=\"_blank\" rel=\"noreferrer noopener\">se aplic\u00f3 sobre un <em>subset<\/em> concreto<\/a> de SWE-bench, con problemas m\u00e1s sencillos.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"549\" src=\"https:\/\/www.safecreative.org\/tips\/es\/wp-content\/uploads\/2024\/04\/65efb346f23abefa856c1454_graph-p-1600-1024x549.png\" alt=\"\" class=\"wp-image-4044\" srcset=\"https:\/\/www.safecreative.org\/tips\/es\/wp-content\/uploads\/2024\/04\/65efb346f23abefa856c1454_graph-p-1600-1024x549.png 1024w, https:\/\/www.safecreative.org\/tips\/es\/wp-content\/uploads\/2024\/04\/65efb346f23abefa856c1454_graph-p-1600-300x161.png 300w, https:\/\/www.safecreative.org\/tips\/es\/wp-content\/uploads\/2024\/04\/65efb346f23abefa856c1454_graph-p-1600-768x412.png 768w, https:\/\/www.safecreative.org\/tips\/es\/wp-content\/uploads\/2024\/04\/65efb346f23abefa856c1454_graph-p-1600-1536x824.png 1536w, https:\/\/www.safecreative.org\/tips\/es\/wp-content\/uploads\/2024\/04\/65efb346f23abefa856c1454_graph-p-1600-150x80.png 150w, https:\/\/www.safecreative.org\/tips\/es\/wp-content\/uploads\/2024\/04\/65efb346f23abefa856c1454_graph-p-1600-696x373.png 696w, https:\/\/www.safecreative.org\/tips\/es\/wp-content\/uploads\/2024\/04\/65efb346f23abefa856c1454_graph-p-1600-1068x573.png 1068w, https:\/\/www.safecreative.org\/tips\/es\/wp-content\/uploads\/2024\/04\/65efb346f23abefa856c1454_graph-p-1600.png 1600w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\">(La comparativa de resultados que aparece en el v\u00eddeo y en cognition-labs.com)<\/figcaption><\/figure>\n\n\n\n<p>Aunque no se encuentra disponible en abierto, unos pocos programadores han tenido acceso y <a href=\"https:\/\/favtutor.com\/articles\/devin-ai-early-insights\/\" target=\"_blank\" rel=\"noreferrer noopener\">compartido sus impresiones<\/a>. Varios comentan que es lento y se atasca, pero la impresi\u00f3n general es positiva, con matices:<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p>\u00abSiento que Devin es UI\/UX-first, no AI-first. No s\u00e9 si eso tiene sentido. La IA es un componente fundamental, pero la infraestructura que la rodea es la estrella.\u00bb<\/p>\n<cite>(<a href=\"https:\/\/twitter.com\/itsandrewgao\/status\/1767587371774599329\" target=\"_blank\" rel=\"noreferrer noopener\">Andrew Gao<\/a>)<\/cite><\/blockquote>\n\n\n\n<h2 class=\"wp-block-heading\">Detalles importantes en la presentaci\u00f3n y promoci\u00f3n de Devin<\/h2>\n\n\n\n<p>Carl, el <em>youtuber<\/em> detr\u00e1s de <a href=\"https:\/\/www.youtube.com\/watch?v=tNmgmwEtoWE\" target=\"_blank\" rel=\"noreferrer noopener\">Internet of Bugs, analiza en detalle el v\u00eddeo de Cognition<\/a> donde muestran a <a href=\"https:\/\/youtu.be\/UTS2Hz96HYQ?feature=shared\" target=\"_blank\" rel=\"noreferrer noopener\">Devin resolviendo un trabajo real de Upwork.<\/a> El proyecto elegido para la demostraci\u00f3n es uno de visi\u00f3n por computadora: el cliente quiere realizar inferencias con los modelos del repositorio <a href=\"https:\/\/github.com\/mahdi65\/roadDamageDetection2020\">roadDamageDetection2020<\/a>.<\/p>\n\n\n\n<p>Walden Yan, director de producto de Cognition, copia y pega la solicitud. No incluye bien los requisitos espec\u00edficos, puede que a idea para que la tarea sea m\u00e1s sencilla. <\/p>\n\n\n\n<p>En resumen, hay 3 aspectos de la demostraci\u00f3n que llevan a enga\u00f1o: <\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Se da a entender que Devin encuentra y arregla<strong> errores en un repositorio de GitHub<\/strong>, cuando no es cierto.<\/li>\n\n\n\n<li>Da la sensaci\u00f3n de que Devin ha sido capaz de resolver una larga lista de tareas complejas. Walden presenta el proyecto diciendo que<strong> \u00abparece muy dif\u00edcil <\/strong>de configurar\u00bb. La soluci\u00f3n en realidad es simple. Al menos lo es si, como Devin, no se tienen en cuenta los requisitos espec\u00edficos del cliente. Basta con leer la documentaci\u00f3n del repositorio.<\/li>\n\n\n\n<li>El v\u00eddeo dura<strong> 2 minutos,<\/strong> pero si se observa el tiempo transcurrido en el chat de Devin han pasado varias horas.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">El error que \u00abresuelve\u00bb Devin es uno generado por la propia IA<\/h3>\n\n\n\n<p>En el v\u00eddeo aparece un error en un fichero llamado <code>update_image_ids.py<\/code>. Al consultar GitHub, se puede comprobar que \u00e9ste no existe en el repositorio original. Ni nada que se le parezca. Es un fichero creado por Devin con c\u00f3digo que es, en palabras de Carl \u00abun sinsentido\u00bb y que \u00abcrea m\u00e1s problemas de los que resuelve\u00bb. <\/p>\n\n\n\n<p>Es decir: lo que se presenta como Devin resolviendo un error humano es en realidad la IA enred\u00e1ndose.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Se exagera la complejidad del problema y se miente sobre la eficacia de Devin<\/h3>\n\n\n\n<p>Una de las caracter\u00edsticas de Devin es que crea una lista de tareas a completar. Al verla, da la sensaci\u00f3n de que ha resuelto un problema complejo con varios pasos dif\u00edciles. Carl, que <a href=\"https:\/\/www.youtube.com\/watch?v=TMl_82eavHo&amp;t=0s\" target=\"_blank\" rel=\"noreferrer noopener\">se grab\u00f3 completando el mismo trabajo de Upwork para comparar,<\/a> muestra que la tarea pod\u00eda resolverse en poco m\u00e1s de media hora. Posiblemente unas doce veces m\u00e1s r\u00e1pido que Devin. Lo m\u00e1s costoso es instalar el entorno; el trabajo en s\u00ed es cosa de dos comandos.<\/p>\n\n\n\n<p>Tambi\u00e9n descubre en el proceso que uno de los problemas que Devin intenta resolver aparece bien explicado en las instrucciones del repositorio. Y que s\u00ed hab\u00eda un error en \u00e9ste (no detectado por Devin), que se resuelve con una b\u00fasqueda de un minuto en Google.<\/p>\n\n\n\n<p>El cliente detr\u00e1s de la oferta de trabajo ha publicado <a href=\"https:\/\/www.youtube.com\/watch?v=xE2fxcETP5E&amp;t=0s\" target=\"_blank\" rel=\"noreferrer noopener\">una v\u00eddeo respuesta<\/a>. Explica que Devin no resolvi\u00f3 lo que ped\u00eda o, al menos, no de la manera esperable. Si hubiera tenido que resolver la tarea real, con los requisitos concretos del cliente, \u00e9sta se vuelve m\u00e1s compleja. Lo m\u00e1s seguro es que Devin no la hubiera podido realizar, y por eso se copi\u00f3 el encargo a medias en la demo.<\/p>\n\n\n\n<p>Esto no sorprende mucho si se ha utilizado IA generativa para programar: la mayor\u00eda de <em>outputs<\/em> no pueden aprovecharse sin criterio. No se pueden implementar sin revisar y editar, y a veces son del todo inservibles. Ignoran contexto y arquitectura, no optimizan, no observan buenas pr\u00e1cticas, toman decisiones extra\u00f1as&#8230; Pueden ser \u00fatiles, pero no est\u00e1n listas para usarse de forma aut\u00f3noma. Anunciar lo contrario genera <strong>falsas expectativas <\/strong>y puede traer riesgos.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Llamada al escepticismo<\/h2>\n\n\n\n<p>Sin conocimientos t\u00e9cnicos es imposible darse cuenta de esto. Hasta la publicaci\u00f3n del v\u00eddeo de Internet of Bugs, los comentarios en la demostraci\u00f3n eran, con pocas excepciones, de curiosidad, inter\u00e9s y nerviosismo.<\/p>\n\n\n\n<p>Anuncios y v\u00eddeos como \u00e9stos y los titulares que les han dado eco desinforman y hacen creer que la IA generativa es mucho m\u00e1s potente de lo que es actualmente. Las exageraciones han desembocado en titulares que han llegado a bautizar a Devin como \u00abla primera AGI\u00bb (inteligencia artificial general).<\/p>\n\n\n\n<p>Puede que declaraciones as\u00ed empiecen a aparecer m\u00e1s y m\u00e1s conforme vayan apareciendo otros <em>AI agents<\/em>. Conviene diferenciar. <strong>Devin no es la primera AGI, <\/strong>sino un programa que funciona como un agente de IA. Un agente, a diferencia de un modelo, puede realizar tareas espec\u00edficas utilizando varias herramientas. Un agente est\u00e1 especializado. En el caso de Devin, est\u00e1 dise\u00f1ado para escribir y depurar c\u00f3digo. Una AGI ser\u00eda capaz de aplicar sus conocimientos de manera tan general como un humano, razonando para solucionar cualquier tipo de tarea.<\/p>\n\n\n\n<p>No poner en duda los anuncios de las tecnol\u00f3gicas y los titulares de Internet puede traer consecuencias graves en un momento en el que la IA y sus <em>outputs<\/em> empiezan a colarse en sitios donde no deber\u00edan. <strong>Textos generados por IA est\u00e1n apareciendo en <a href=\"https:\/\/www.nature.com\/articles\/d41586-024-01051-2\" target=\"_blank\" rel=\"noreferrer noopener\">publicaciones revisadas por expertos<\/a>,<\/strong> <a href=\"https:\/\/www.nature.com\/articles\/d41586-023-00107-z\" target=\"_blank\" rel=\"noreferrer noopener\">investigaciones<\/a>, <a href=\"https:\/\/www.reuters.com\/legal\/new-york-lawyers-sanctioned-using-fake-chatgpt-cases-legal-brief-2023-06-22\/\" target=\"_blank\" rel=\"noreferrer noopener\">informes jur\u00eddicos<\/a>&#8230; En una publicaci\u00f3n reciente del <em>Yale Journal of Biology and Medicine,<\/em> se plantea si es viable<a href=\"https:\/\/www.ncbi.nlm.nih.gov\/pmc\/articles\/PMC10524821\/\" target=\"_blank\" rel=\"noreferrer noopener\"> usar ChatGPT para revisar art\u00edculos acad\u00e9micos<\/a>. La confianza es alarmante. <strong>Dar a entender que se puede usar IA para generar y desplegar c\u00f3digo de forma aut\u00f3noma puede suponer serios problemas de seguridad.<\/strong><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Cognition Labs ped\u00eda una valoraci\u00f3n de 2 billones de d\u00f3lares<\/h2>\n\n\n\n<p>La presentaci\u00f3n inicial de Cognition Labs contiene pruebas anecd\u00f3ticas y datos sesgados que dan una imagen falsa. El sensacionalismo puede haber da\u00f1ado su credibilidad. <\/p>\n\n\n\n<p>Que se sepa, Cognition no ha desarrollado un modelo de IA propio; es decir, que el Devin actual es posiblemente <strong>ChatGPT-4 y otras APIs debajo de una gabardina.<\/strong> Ahora que el foco est\u00e1 puesto en los <em>AI agents,<\/em> ir\u00e1n apareciendo m\u00e1s propuestas de este tipo: IA y otras herramientas agrupadas en un entorno f\u00e1cil de usar. Ya hay incluso una <a href=\"http:\/\/ya hay una versi\u00f3n open-source de Devin auto-code-rover https:\/\/github.com\/nus-apr\/auto-code-rover.\" target=\"_blank\" rel=\"noreferrer noopener\">alternativa a Devin de c\u00f3digo abierto<\/a> que, seg\u00fan sus propios <em>tests,<\/em> funciona mejor que Devin. <\/p>\n\n\n\n<p>A principios de mes Cognition estaba buscando una valoraci\u00f3n de hasta<a href=\"https:\/\/www.wsj.com\/tech\/ai\/a-peter-thiel-backed-ai-startup-cognition-labs-seeks-2-billion-valuation-998fa39d\" target=\"_blank\" rel=\"noreferrer noopener\"> 2 billones de d\u00f3lares.<\/a> Muchos medios se\u00f1alan que podr\u00edamos estar ante una burbuja como la burbuja puntocom. <\/p>\n\n\n\n<p>Fuentes: Cognition, Internet of Bugs, Computer vision engineer, AI Explained<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Cognition Labs, que buscaba una valoraci\u00f3n de 2 billones de d\u00f3lares, false\u00f3 los datos y las demostraciones de su \u00abIA ingeniera de software\u00bb.<\/p>\n","protected":false},"author":5,"featured_media":4169,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[2,48],"tags":[33,116],"class_list":{"0":"post-4041","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-noticias","8":"category-tema-del-momento","9":"tag-inteligencia-artificial","10":"tag-tecnologia"},"acf":[],"_links":{"self":[{"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/posts\/4041","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/comments?post=4041"}],"version-history":[{"count":2,"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/posts\/4041\/revisions"}],"predecessor-version":[{"id":12485,"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/posts\/4041\/revisions\/12485"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/media\/4169"}],"wp:attachment":[{"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/media?parent=4041"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/categories?post=4041"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.safecreative.org\/tips\/es\/wp-json\/wp\/v2\/tags?post=4041"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}