Se les dice a los desarrolladores y vendedores que agregan archivos LLMS.TXT a sus sitios para ayudar a los modelos de idiomas grandes (LLM) a “comprender” su contenido.
Pero, ¿qué es exactamente LLMS.txt, quién lo está usando y, más importante,?
LLMS.TXT es un standard propuesto para ayudar a LLMS a ceder e interpretar contenido estructurado desde los sitios web. Puedes interpretar la propuesta completa en llmstext.org.
En pocas palabras, es un archivo de texto diseñado para decirle a LLMS dónde encontrar el cosas buenas: Documentación de API, políticas de devolución, taxonomías de productos y otros bienes ricos en contexto. El objetivo es eliminar la anfibología dando a los modelos de idiomas un plano curado de contenido de parada valencia, para que no tengan que adivinar lo que importa.
Una captura de pantalla del standard propuesto en https://llmstxt.org/.
En teoría, esto suena como una buena idea. Ya usamos archivos como robots.txt y Sitemap.xml Para ayudar a los motores de búsqueda a comprender qué hay en un sitio y dónde apañarse. ¿Por qué no aplicar la misma razonamiento a LLMS?
Pero lo más importante, No es un proveedor de LLM Major actualmente admite LLMS.txt. No OpenAi. No antrópico. No google.
Como dije en la entrada, llms.txt es un propuesto standard. Igualmente podría proponer un standard (llamémoslo por patrocinio envíe a-me-tramph-robot-overlords.txt), pero a menos que los principales proveedores de LLM acepten usarlo, no tiene sentido.
Ahí es donde estamos con LLMS.TXT: es una idea especulativa sin acogida oficial.
No duermas en robots.txt
LLMS.TXT podría no afectar su visibilidad en andana, pero Robots.txt definitivamente lo hace.
Puedes usar ahrefs ‘ Auditoría del sitio Para monitorear cientos de problemas técnicos de SEO comunes, incluidos problemas con su archivo robots.txt que podría obstaculizar seriamente su visibilidad (o incluso evitar que su sitio se rastree).
Así es como se ve un archivo llms.txt en la experiencia. Esta es una captura de pantalla de Archivo llms.txt efectivo de Anthrope:
En su núcleo, LLMS.TXT es un Reducción documento (un tipo de archivo de texto especialmente formateado). Utiliza encabezados H2 para organizar enlaces a bienes secreto. Aquí hay una estructura de muestra que podría usar:
# llms.txt ## Docs - /api.md A summary of API methods, authentication, rate limits, and example requests. - /quickstart.md A setup guide to help developers start using the platform quickly. ## Policies - /terms.md Constitucional terms outlining service usage. - /returns.md Information about return eligibility and processing. ## Products - /catalog.md A structured index of product categories, SKUs, and metadata. - /sizing-guide.md A reference guide for product sizing across categories.
Puede hacer su propia LLMS.txt en minutos:
- Inicio con un elemental Archivo de markdown.
- Use H2S para agrupar bienes por tipo.
- Enlace a contenido estructurado y amistoso para markdown.
- Manténgalo actualizado.
- Alojarlo en su dominio raíz: https://yourdomain.com/llms.txt
Puede crearlo usted mismo o usar un creador LLMS.txt infundado (como este) para hacerlo por ti.
He letrado sobre algunos desarrolladores que asimismo experimentan con metadatos específicos de LLM en sus archivos LLMS.TXT, como presupuestos tokens o formatos de archivo preferidos (pero no hay evidencia de que esto sea respetado por los modelos de rastreadores o LLM).
Puede ver una serie de empresas que usan llms.txt en directorio.llmstxt.cloud—Un Índice Mantenido de la comunidad de archivos públicos de LLMS.txt.
Aquí hay algunos ejemplos:
- Mintlificar: Plataforma de documentación del desarrollador.
- Pájaro pequeño: API de datos en tiempo efectivo.
- Situación de la nimbo: Enumera los documentos de rendimiento y seguridad.
- Antrópico: Publica un plano de Markdown completo de sus documentos API.
¿Pero qué pasa con los grandes jugadores?
Hasta ahora, ningún proveedor de LLM viejo ha acogido formalmente LLMS.txt Como parte de su protocolo de rastreador:
- OpenAI (GPTBOT): Honors Robots.txt pero no usa oficialmente LLMS.txt.
- Antrópico (Claude): Publica su propia LLMS.txt, pero no afirma que sus rastreadores usan el standard.
- Google (Géminis/Bard): Utiliza robots.txt (a través del agente de legatario: Google-Extended) para establecer el comportamiento de AI Crawl, sin mencionar el soporte LLMS.TXT.
- Meta (Vehemencia): No hay rastreador o orientación notorio, y sin indicación de uso de LLMS.TXT.
Esto resalta un punto importante: crear un LLMS.txt no es lo mismo que hacer cumplirlo en el comportamiento de los rastreadores. En este momento, la mayoría de los proveedores de LLM tratan a LLMS.txt como una idea interesante, y no como poco que han pactado priorizar y seguir.
En mi opinión, no, todavía no.
No hay evidencia de que LLMS.TXT mejore la recuperación de IA, aumente el tráfico o mejore la precisión del maniquí. Y ningún proveedor se ha comprometido a analizarlo.
Pero asimismo es muy sencillo de configurar. Si ya tiene contenido estructurado como páginas de productos o documentos de desarrollador, coleccionar un LLMS.txt es trivial. Es un archivo de Markdown, alojado en su propio sitio web. Es posible que no haya un beneficio observado, pero siquiera hay aventura. Si los LLMS eventualmente lo siguen como un standard, podría deber una pequeña preeminencia en ser los primeros en adoptar.
Creo que llms.txt está ganando tracción porque todos queremos influir Visibilidad llmpero nos faltan las herramientas para hacerlo. Entonces nos aferramos a las ideas que advertir como control.
Pero en mi opinión personal, LLMS.TXT es una posibilidad en escudriñamiento de un problema. Los motores de búsqueda ya se arrastran y comprenden su contenido utilizando estándares existentes como robots.txt y siteMap.xml. LLMS usa gran parte de la misma infraestructura.
Como lo expresó John Mueller de Google en un Reddit Post recientemente:
AFAIK Nadie de los servicios de IA ha dicho que están usando LLMS.TXT (y puede enterarse cuándo mira los registros de su servidor que ni siquiera lo verifican). Para mí, es comparable a la metaetiqueta de las palabras secreto: de esto se comercio de un propietario del sitio que se comercio su sitio … (¿es el sitio en realidad así? Bueno, puede verificarlo. En ese momento, ¿por qué no solo consultar el sitio directamente?)
¿No estoy de acuerdo conmigo o quieres compartir un ejemplo de lo contrario? Enviarme un mensaje LinkedIn o intríngulis.