llms.txt là một tệp văn bản viết theo định dạng Markdown, đặt ở thư mục gốc của website (ví dụ tenmien.vn/llms.txt), dùng để giới thiệu ngắn gọn website và liệt kê các trang quan trọng nhất cho mô hình ngôn ngữ lớn (LLM) đọc. Đề xuất này do Jeremy Howard của Answer.AI công bố ngày 3/9/2024 và đến nay vẫn là một đề xuất mở, chưa phải tiêu chuẩn chính thức. Người tìm hiểu llms.txt thường vừa nghe một dịch vụ khuyên “phải có file này để lên ChatGPT”, nên câu hỏi thật sự của họ là có cần làm không và làm thì có lợi gì.
Bài viết giải thích llms.txt là gì, khác robots.txt và sitemap thế nào, cấu trúc của một file llms.txt, và điều Google cùng các công ty AI thực sự nói về nó. Phần sau trình bày cách dùng robots.txt để kiểm soát từng bot AI, việc có tác động rõ hơn nhiều so với llms.txt, và cách giao phần kiểm tra cho AI Agent.
llms.txt là gì?
llms.txt là “bản giới thiệu website dành cho AI”: một trang Markdown ngắn có tên website, đoạn tóm tắt và danh sách link tới các trang chính kèm mô tả, để công cụ AI không phải đọc toàn bộ HTML mới hiểu website có gì. Theo trang đặc tả llmstxt.org, mục đích của tệp là cho các agent một điểm bắt đầu gọn, có chọn lọc, và mỗi trang được liệt kê nên có một bản Markdown sạch đi kèm.
Ví dụ, một công ty phần mềm có trang tài liệu hướng dẫn dài hàng trăm trang có thể dùng llms.txt để chỉ cho trợ lý lập trình AI biết trang nào là hướng dẫn cài đặt, trang nào là tài liệu API. Đây cũng là nhóm dùng llms.txt nhiều nhất hiện nay, vì lập trình viên thường dán tài liệu vào công cụ AI để hỏi.
llms.txt khác robots.txt và sitemap thế nào?
Ba tệp này cùng nằm ở gốc website nhưng làm ba việc khác nhau, như bảng dưới đây.
| Tệp | Dành cho | Dùng để | Mức được hỗ trợ |
|---|---|---|---|
| robots.txt | Bot thu thập dữ liệu (Googlebot, GPTBot…) | Cho phép hoặc chặn bot đọc phần nào của website | Tiêu chuẩn, hầu hết bot lớn tuân thủ |
| sitemap.xml | Công cụ tìm kiếm | Liệt kê mọi URL cần lập chỉ mục | Tiêu chuẩn, Google và Bing dùng |
| llms.txt | Mô hình ngôn ngữ, agent AI | Giới thiệu ngắn và chọn lọc trang quan trọng | Đề xuất, Google Search không dùng |
Điểm khác quan trọng nhất là robots.txt có tác dụng kiểm soát thật, còn llms.txt chỉ là gợi ý mà công cụ AI có thể đọc hoặc bỏ qua. Vì vậy, nếu mục tiêu là để AI tìm thấy hoặc không tìm thấy website, robots.txt mới là tệp cần kiểm tra trước.
Cấu trúc của một file llms.txt
Một file llms.txt hợp lệ chỉ bắt buộc có dòng tiêu đề H1 là tên website; các phần còn lại gồm đoạn tóm tắt trong khối trích dẫn, ghi chú tuỳ chọn, các mục H2 chứa danh sách link và một mục “Optional” cho link phụ. Cấu trúc này được mô tả trong trang đặc tả llmstxt.org, bản cập nhật tháng 8/2026.
Các thành phần dưới đây sắp theo đúng thứ tự xuất hiện trong file.
- Tiêu đề H1: tên website hoặc tên dự án, phần duy nhất bắt buộc.
- Tóm tắt: một khối trích dẫn ngắn mô tả website làm gì, cho ai.
- Ghi chú: đoạn văn hoặc danh sách thông tin quan trọng, không dùng heading.
- Các mục H2 có danh sách link: mỗi dòng dạng
[tên trang](đường dẫn): mô tả ngắn. - Mục “Optional”: link phụ mà AI có thể bỏ qua khi cần ít thông tin hơn.
Một file mẫu cho doanh nghiệp dịch vụ có thể trông như sau:
# Công ty Vệ sinh ABC
<aside class="uc-hop-noi" style="border-left:4px solid #FD791B;background:#F3F5F9;color:#102044;padding:16px 20px;margin:28px 0;border-radius:6px"><p style="margin:0 0 6px;font-weight:700;color:#142855">Dịch vụ vệ sinh văn phòng và nhà xưởng tại TP.HCM và Bình Dương, phục vụ doanh nghiệp từ 20 nhân viên.</p></aside>
Báo giá theo mét vuông, khảo sát miễn phí trong 48 giờ.
## Dịch vụ
- [Vệ sinh văn phòng](https://abc.vn/ve-sinh-van-phong/): gói theo tuần, theo tháng
- [Vệ sinh nhà xưởng](https://abc.vn/ve-sinh-nha-xuong/): sàn epoxy, kho lạnh
## Hỏi đáp
- [Câu hỏi thường gặp](https://abc.vn/hoi-dap/): giá, lịch làm, hoá chất sử dụng
## Optional
- [Blog](https://abc.vn/blog/): kinh nghiệm vệ sinh theo ngànhTên công ty và đường dẫn trong mẫu là ví dụ minh hoạ. Với website doanh nghiệp nhỏ, file thường chỉ dài 20 đến 40 dòng và có thể soạn trong vài phút.
Có nên tạo file llms.txt cho website không?
Với mục tiêu xuất hiện trên Google, doanh nghiệp không cần tạo llms.txt, vì Google viết rõ Google Search không dùng llms.txt, tệp văn bản dành cho AI hay đánh dấu đặc biệt; với các công cụ AI khác, lợi ích hiện chưa được chứng minh nhưng tạo file cũng không gây hại. Trong hướng dẫn tối ưu cho tính năng AI tạo sinh, Google xếp việc tạo llms.txt vào nhóm những điều doanh nghiệp không cần làm, và cho biết tạo file không giúp cũng không làm hại khả năng hiển thị trên Search.
Danh sách dưới đây giúp doanh nghiệp tự quyết định có nên dành thời gian cho llms.txt hay không.
- Nên tạo khi website có nhiều tài liệu kỹ thuật: phần mềm, công cụ, tài liệu hướng dẫn dài mà người dùng hay dán vào công cụ AI để hỏi. Ví dụ, nhà cung cấp phần mềm bán hàng có 200 trang hướng dẫn sử dụng.
- Có thể tạo nếu đã làm xong việc quan trọng hơn: website đã cho phép bot tìm kiếm của AI, nội dung đã trả lời rõ câu hỏi của khách, khi đó dành 15 phút cho llms.txt không tốn gì.
- Chưa cần tạo khi nền tảng còn thiếu: nếu trang dịch vụ chưa có giá, chưa có câu hỏi thường gặp, chưa có Google Business Profile, thời gian nên dành cho các việc đó trước.
- Cẩn thận với dịch vụ bán llms.txt: dịch vụ cam kết “có llms.txt là lên ChatGPT” không có cơ sở, vì chưa công ty AI lớn nào công bố dùng llms.txt để xếp hạng hay chọn nguồn.
Tóm lại, llms.txt là việc phụ, có cũng được, không có cũng không sao. Việc có tác động thật đến khả năng được AI tìm thấy là cho phép đúng bot đọc website và có nội dung đáng trích dẫn, như trình bày trong bài GEO là gì.
Kiểm soát bot AI bằng robots.txt
robots.txt là cách chính để doanh nghiệp quyết định bot AI nào được đọc website; mỗi công ty AI tách bot tìm kiếm và bot huấn luyện, nên doanh nghiệp có thể cho phép xuất hiện trong kết quả tìm kiếm của AI mà vẫn từ chối cho dùng nội dung để huấn luyện mô hình. Theo tài liệu của OpenAI, Perplexity và Anthropic, thay đổi trong robots.txt thường mất khoảng 24 giờ để có hiệu lực.
Bảng dưới đây tóm tắt các bot hay gặp và tác động khi chặn từng bot.
| Bot | Của | Vai trò | Nếu chặn |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Tìm kiếm trong ChatGPT | Không xuất hiện trong câu trả lời tìm kiếm của ChatGPT |
| GPTBot | OpenAI | Huấn luyện mô hình | Không bị dùng để huấn luyện, vẫn có thể lên ChatGPT search |
| PerplexityBot | Perplexity | Tìm kiếm trong Perplexity | Không được Perplexity hiển thị và gắn link |
| Claude-SearchBot | Anthropic | Tìm kiếm trong Claude | Giảm khả năng xuất hiện trong kết quả tìm kiếm của Claude |
| ClaudeBot | Anthropic | Huấn luyện mô hình | Nội dung mới không được đưa vào dữ liệu huấn luyện |
| Google-Extended | Huấn luyện và đối chiếu nguồn cho Gemini và các hệ thống AI khác | Không ảnh hưởng đến Google Search và AI Overviews |
Một cấu hình phổ biến cho doanh nghiệp muốn được AI tìm thấy nhưng không cho huấn luyện là:
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /Doanh nghiệp cũng cần kiểm tra tường lửa và chế độ chống bot của dịch vụ như Cloudflare, vì nhiều website cho phép bot trong robots.txt nhưng lại bị chặn ở tầng máy chủ. Riêng với Google, AI Overviews và Chế độ AI dùng chính Googlebot, nên chặn Googlebot là rời khỏi cả Google Search, chi tiết trong bài AI Overview là gì.
Kiểm tra llms.txt và robots.txt với AI Agent
AI Agent giúp doanh nghiệp kiểm tra website có đang mở đúng cho bot AI hay không bằng cách đọc robots.txt, thử truy cập website bằng từng tên bot, đọc nhật ký truy cập máy chủ và soạn sẵn file llms.txt từ sitemap để người phụ trách duyệt. Đây là việc làm một lần rồi kiểm lại mỗi quý, nhưng dễ bỏ sót nếu không có danh sách cố định.
Các bước Upcontent làm với AI Agent
Upcontent dựng agent trên Claude Code bằng bộ Claude skill chứa danh sách bot và cấu hình mong muốn của từng doanh nghiệp. Agent làm các bước sau:
- Đọc robots.txt: agent tải robots.txt và liệt kê bot nào đang được cho phép, bot nào bị chặn.
- Đọc nhật ký truy cập: nếu có quyền, agent lọc nhật ký máy chủ 30 ngày để xem bot AI nào đã ghé và có bị chặn ở tường lửa không.
- Soạn llms.txt: agent đọc sitemap, chọn 15 đến 30 trang quan trọng nhất theo lượt truy cập và viết mô tả ngắn cho từng trang.
- Đề xuất thay đổi: agent so cấu hình hiện tại với cấu hình mong muốn và ghi rõ dòng cần sửa.
- Người duyệt: người phụ trách hoặc đơn vị quản trị website kiểm tra rồi mới cập nhật file lên máy chủ.
Câu lệnh mẫu giao bước 1 và 3 cho agent:
Tải https://tenmien.vn/robots.txt và https://tenmien.vn/sitemap.xml của website doanh nghiệp.
Lập bảng: tên bot (OAI-SearchBot, GPTBot, PerplexityBot, Claude-SearchBot, ClaudeBot, Google-Extended, Googlebot), đang cho phép hay chặn, theo dòng nào.
Từ sitemap, chọn 20 trang dịch vụ và hỏi đáp quan trọng nhất, soạn file llms.txt đúng định dạng llmstxt.org với mô tả mỗi trang dưới 15 chữ.
Không tự sửa file trên máy chủ; chỉ xuất bản đề xuất để người duyệt.Phần vẫn cần người làm
Agent làm nhanh phần đọc và soạn, nhưng các quyết định sau cần người phụ trách theo nguyên tắc human in the loop:
- Quyết định có cho phép dùng nội dung để huấn luyện AI hay không, vì đây là lựa chọn kinh doanh và pháp lý.
- Cập nhật robots.txt, llms.txt và cấu hình tường lửa trên máy chủ, hoặc giao cho đơn vị quản trị website.
- Chọn trang nào đưa vào llms.txt, tránh liệt kê trang nội bộ hay trang đang chạy thử.
- Kiểm tra lại sau 24 đến 48 giờ xem thay đổi đã có hiệu lực.
Toàn cảnh việc làm SEO khi khách tìm bằng AI được trình bày trong bài SEO thời AI, còn cách để thương hiệu được AI nhắc tên nằm ở bài SEO ChatGPT.
Câu hỏi thường gặp về llms.txt
llms.txt có giúp website lên ChatGPT không?
Chưa có bằng chứng. OpenAI chưa công bố dùng llms.txt để chọn nguồn trong ChatGPT search; việc xuất hiện phụ thuộc vào OAI-SearchBot có được đọc website hay không và nội dung có đáng trích dẫn không. Doanh nghiệp nên kiểm tra robots.txt trước khi nghĩ đến llms.txt.
Đặt file llms.txt ở đâu?
File đặt ở thư mục gốc của website, truy cập được tại tenmien.vn/llms.txt, giống vị trí của robots.txt. Theo đặc tả, file cũng có thể đặt ở thư mục con như /docs/llms.txt để mô tả riêng phần tài liệu.
LLMO là gì và có liên quan llms.txt không?
LLMO (Large Language Model Optimization) là cách gọi việc tối ưu để mô hình ngôn ngữ lớn hiểu và nhắc đúng về thương hiệu, gần nghĩa với GEO. llms.txt chỉ là một công cụ nhỏ có thể dùng trong LLMO, không phải toàn bộ công việc.
Chặn GPTBot có ảnh hưởng đến Google không?
Không. GPTBot là bot của OpenAI, không liên quan đến Google Search. Với Google, tệp kiểm soát việc dùng nội dung cho Gemini là Google-Extended, và chặn Google-Extended cũng không ảnh hưởng đến thứ hạng hay AI Overviews trên Google Search.
Nguồn
- llmstxt.org, “The /llms.txt file”, đề xuất 3/9/2024, cập nhật 8/2026: https://llmstxt.org/
- Google Search Central, “Guide to Optimizing for Generative AI Features on Google Search”: https://developers.google.com/search/docs/fundamentals/ai-optimization-guide
- Google Search Central, “AI features and your website”: https://developers.google.com/search/docs/appearance/ai-features
- OpenAI, “Overview of OpenAI Crawlers”: https://developers.openai.com/docs/gptbot
- Perplexity, “Perplexity Crawlers”: https://docs.perplexity.ai/guides/bots
- Anthropic, Claude Help Center, “Does Anthropic crawl data from the web, and how can site owners block the crawler?”: https://support.claude.com/en/articles/8896518
