Giả thuyết: Web mở sẽ lại trở thành lợi thế cạnh tranh

Trong khoảng mười lăm năm qua, sự phát triển của cơ sở hạ tầng web đã dịch chuyển theo hướng ngày càng hạn chế quyền truy cập của máy tính.

Nguyên nhân hoàn toàn hợp lý. Bot tạo ra tải, quét nội dung, tìm kiếm lỗ hổng, spam, sao chép cơ sở dữ liệu, thu thập giá cả, tạo tài khoản giả. Để đáp ứng, các trang web dần được trang bị thêm CDN, WAF, giới hạn tốc độ (rate limits), thử thách JavaScript, nhận dạng dấu vân tay (fingerprinting), CAPTCHA, chống cào dữ liệu (anti-scraping) và phân tích hành vi.

Kết quả là một nghịch lý của internet hiện đại đã xuất hiện:

Chúng ta tạo ra Mạng lưới toàn cầu (World Wide Web) để liên kết và phổ biến thông tin tự do, rồi sau đó dành hai mươi năm để làm cho thông tin đó trở nên bất tiện nhất có thể đối với việc đọc tự động.

Đối với Web mà người tiêu dùng chính của trang là con người sử dụng trình duyệt, điều này có ý nghĩa.

Tôi cho rằng với sự xuất hiện của AI, sự cân bằng này bắt đầu thay đổi.

---

Bot không còn chỉ là kẻ ăn bám

Trong nền kinh tế cũ của một trang web công khai, có sự phân chia khá đơn giản:

Human (Con người) → khách truy cập tốtSearch crawler (Trình thu thập của công cụ tìm kiếm) → được dung thứ vì mang lại con ngườiOther bot (Bot khác) → khách truy cập xấu

Loại sau hầu như không có giá trị kinh tế.

Nó lấy trang, tiêu thụ CPU và băng thông mà không mua bất cứ thứ gì.

Do đó, chiến lược kỹ thuật tự nhiên là:

không cho phép vào.

Nhưng AI tạo ra một tầng lớp người tiêu dùng máy tính hoàn toàn mới.

AI crawler có thể đọc trang web không phải để cho chủ sở hữu xem một bản sao bị đánh cắp của trang, mà để sau đó trả lời con người:

Đi đâu chơi một ngày ở Đà Lạt?

Porter và stout khác nhau ở điểm nào?

Cách sử dụng phòng xông hơi Phần Lan đúng cách là gì?

Và nếu phần lớn hoạt động tìm kiếm của con người thực sự chuyển từ danh sách liên kết sang cuộc trò chuyện với AI, một điều cốt lõi sẽ xảy ra:

bot trở thành bên trung gian giữa nhà xuất bản và con người.

Kết quả là:

Web cũ:Publisher (Nhà xuất bản)   ↓Google   ↓SERP   ↓Human (Con người)   ↓Website (Trang web)Web AI:Publisher (Nhà xuất bản)   ↓Machine (Máy tính)   ↓understanding / synthesis (hiểu / tổng hợp)   ↓Human (Con người)

Và khi đó, yêu cầu từ một AI bot không còn có thể bị coi là lưu lượng truy cập vô ích một cách tự động nữa.

Có lẽ đây là phần trên của phễu thu hút người dùng mới.

---

Từ đó nảy sinh nghịch lý

Ngành công nghiệp đã chi rất nhiều tiền để xây dựng cơ sở hạ tầng được tối ưu hóa hoàn hảo để bảo vệ thông tin khỏi máy tính, chính xác vào thời điểm mà máy tính đang bắt đầu trở thành một trong những phương thức tiêu thụ thông tin chính.

Hơn nữa, các trang web tốt nhất và thành công thương mại nhất thường là những trang được bảo vệ mạnh mẽ nhất.

Cloudflare, WAF, bot protection, kết xuất động (dynamic rendering), tường xác thực (authorization walls), giới hạn tốc độ, thử thách JavaScript.

Trong mô hình cũ, đây là lợi thế.

Trong mô hình mới đối với một nguồn thông tin công cộng, một phần cơ sở hạ tầng này có khả năng biến thành rào cản phân phối (distribution handicap).

Tình huống phi lý nhất có thể trông như thế này:

Công ty có nội dung tốt nhất trong ngành, nhưng AI lại biết đối thủ cạnh tranh rõ hơn vì trang web của đối thủ dễ đọc hơn.

Không phải vì đối thủ tối ưu hóa từ khóa tốt hơn.

Không phải vì họ có nhiều backlink hơn.

Mà vì kiến thức của họ có thể truy cập được về mặt vật lý đối với máy móc.

---

Nghịch lý thứ hai: Các trang web đã học cách cung cấp thông tin rẻ tiền với cái giá đắt đỏ

Vẫn còn một vấn đề nữa mà tôi cho là quan trọng.

Phát triển web hiện đại đã được tối ưu hóa cho phiên làm việc của con người trong nhiều năm.

Một người mở trang, đọc nó trong mười giây, nhấp vào trang tiếp theo.

Do đó, không ai bận tâm lắm việc việc lấy một trang web kích hoạt:

SSR↓máy chủ ứng dụng (application server)↓5 lệnh gọi API (5 API calls)↓15 truy vấn cơ sở dữ liệu (15 database queries)↓cá nhân hóa (personalization)↓phân tích (analytics)↓dịch vụ bên thứ ba (third-party services)↓kết xuất (render)

Con người chậm chạp về mặt vật lý.

AI crawler thì không.

Nó có thể nói với máy chủ:

GET page 1GET page 2GET page 3GET page 4GET page 5...

vài lần một giây và tiếp tục điều đó trong hàng giờ liền.

Và bất ngờ thay, kiến trúc phục vụ xuất sắc 1.000 người lại phục vụ kém một robot rất tò mò.

Do đó, việc chỉ đơn giản nói:

«Thôi được, ngày mai chúng ta tắt bảo vệ Cloudflare và cho phép AI crawlers»

có thể là điều bất khả thi.

Qua nhiều năm tồn tại của Web đóng, nhiều hệ thống đã mất đi khả năng kinh tế để được mở.

---

Lựa chọn của tôi thì ngược lại

Đối với các dự án kiến thức/nội dung công cộng, tôi có ý thức coi việc máy đọc hàng loạt là hành vi mong muốn.

Do đó, kiến trúc phải xuất phát từ giả định:

Trang web của tôi có thể không được đọc bởi hàng nghìn người, mà bởi hàng triệu yêu cầu từ máy tính. Và điều đó thật tuyệt.

Hậu quả là, chi phí biên của việc cung cấp kiến thức công cộng phải có xu hướng bằng không.

Nếu crawler muốn đọc một nghìn trang — cứ để nó đọc.

Nếu một vài hệ thống AI độc lập muốn cùng lúc tải xuống mười phiên bản ngôn ngữ của một bách khoa toàn thư — tuyệt vời.

Đây không phải là DDoS, miễn là hành vi vẫn hợp lý và cơ sở hạ tầng có thể chịu được.

Đây là sự phân phối (distribution).

---

VietnamGuru — Thử nghiệm đầu tiên

Vào ngày 14 tháng 8 năm 2026, tôi đã xuất bản tên miền quốc tế mới vietnamguru.travel.

Tên miền này hoàn toàn mới.

Đồng thời, tôi có ý thức làm cho nó đơn giản nhất có thể để máy móc khám phá:

• các URL thông thường có thể lập chỉ mục;
• HTML được kết xuất từ máy chủ (server-rendered HTML);
• các thẻ <a href> bình thường;
• sitemap;
• canonical;
• hreflang;
• các phiên bản ngôn ngữ mở;
• liên kết với trang vietnamguru.ru cũ;
• không có rào cản nhân tạo đối với các crawler bình thường.

Và gần như ngay sau khi xuất bản, các AI crawler khác nhau đã bắt đầu khám phá tên miền mới.

Một số thực hiện vài yêu cầu mỗi giây và duyệt qua các trang liên quan cũng như các phiên bản ngôn ngữ một cách có hệ thống.

Tôi không cố gắng ngăn chặn hành vi này.

Ngược lại, tôi coi đó là bằng chứng quan sát được đầu tiên cho thấy kênh phân phối mới thực sự tồn tại.

Đồng thời, toàn bộ dự án chạy trên cơ sở hạ tầng hoàn toàn bình thường: một máy chủ DigitalOcean nhỏ với 4 CPU và 8 GB RAM vẫn còn cách xa giới hạn hiệu suất khi chịu mức crawling như vậy.

Đây cũng là một phần của thử nghiệm.

Lựa chọn của tôi không chỉ nằm ở việc cần phải cho phép máy móc đọc.

Nó còn nằm ở chỗ:

một tài nguyên kiến thức công cộng phải có chi phí bảo trì rẻ đến mức có lợi về mặt kinh tế khi cho phép máy móc đọc nó một cách tích cực.

---

Nhưng việc crawling tự nó không chứng minh được điều gì

Đây là một lưu ý mang tính nguyên tắc.

Hôm nay tôi chỉ quan sát thấy:

Discovery (Khám phá).

Tôi vẫn phải kiểm tra các giai đoạn tiếp theo:

Discovery (Khám phá)    ↓Crawling (Thu thập dữ liệu)    ↓Understanding (Hiểu)    ↓Retrieval (Truy xuất)    ↓Citation (Trích dẫn)    ↓Recommendation (Gợi ý)

Bản thân việc GPTBot, PerplexityBot hoặc bất kỳ crawler nào khác xuất hiện không có nghĩa là trang web sẽ có được lượng khán giả.

Do đó, thử nghiệm phải được tiếp tục.

Câu hỏi thú vị tiếp theo:

Sau bao lâu kể từ khi ra mắt một tên miền hoàn toàn mới, các hệ thống AI độc lập mới có thể trả lời chính xác các câu hỏi bằng cách sử dụng thông tin từ đó?

Một bài kiểm tra mạnh mẽ hơn nữa:

Khi nào chúng sẽ bắt đầu sử dụng nó cho các truy vấn phi thương hiệu (non-branded queries)?

Không phải:

What is VietnamGuru?

mà là:

What waterfalls near Da Lat are worth visiting?

Và cuối cùng là cấp độ thú vị nhất:

Khi nào AI sẽ tự coi tài nguyên đó đủ hữu ích để giới thiệu nó hoặc sử dụng nó làm bằng chứng giữa các nguồn khác?

---

Nếu giả thuyết được xác nhận

Khi đó, chính khái niệm tối ưu hóa trang web công cộng sẽ thay đổi.

Trong thế hệ trước, SEO từng tồn tại với ý nghĩa:

giúp công cụ tìm kiếm tìm thấy trang để nó dẫn con người đến đó.

Trong thế hệ tiếp theo, một nhiệm vụ cơ bản hơn có thể xuất hiện:

giúp máy móc lấy, hiểu, xác minh và liên kết kiến thức của bạn để nó có thể sử dụng khi giải quyết vấn đề của con người.

Đây không hoàn toàn là SEO nữa.

Và thậm chí không nhất thiết là GEO/AEO theo nghĩa marketing hiện nay.

Đây chính là machine accessibility (khả năng tiếp cận của máy móc) như một thuộc tính của hệ thống thông tin.

Khi đó, các đặc tính cạnh tranh sẽ trở thành:

độ tiếp cận (accessibility)tính cấu trúc (structurability)tính liên kết (connectedness)sự rõ ràng về ngữ nghĩa (semantic clarity)tốc độ (speed)các URL ổn định (stable URLs)việc đọc hàng loạt giá rẻ (cheap mass reading)nguồn gốc xuất xứ (provenance)tính cập nhật (freshness)

Tức là nhiều thuộc tính kỹ thuật cực kỳ nhàm chán bỗng trở thành các thuộc tính của phân phối (distribution).

---

Và ở đây xuất hiện thêm một nghịch lý nữa

Trong Web cũ, giá trị của một trang web được đo lường một phần bằng số lượng người mà người ta có thể ép buộc đến trang web.

AI có thể phá hủy số đo này.

Con người có thể không bao giờ mở vietnamguru.travel.

Họ sẽ hỏi trợ lý của mình:

Có nên đi Đà Lạt vào tháng 8 không?

Và trợ lý sẽ đọc VietnamGuru, đối chiếu nó với thời tiết, đánh giá, lịch trình giao thông và năm nguồn khác để đưa ra câu trả lời cho con người.

Từ góc độ Google Analytics:

0 khách truy cập (visitors).

Từ góc độ ảnh hưởng thực tế:

VietnamGuru đã tham gia vào quá trình ra quyết định.

Kết quả là một tình huống khá thú vị:

trang web thông tin thành công của tương lai có tiềm năng trở nên có ảnh hưởng hơn đồng thời với việc tỷ lệ người trực tiếp truy cập các trang của nó giảm xuống.

Và khi đó, nhiều chỉ số Web của ngày hôm nay bắt đầu đo lường nhầm chỗ.

---

Một phỏng đoán tổng quát hơn

Do đó, giả thuyết của tôi không nói về VietnamGuru cũng như không nói về các AI crawler cụ thể.

Nó là thế này:

Khi chuyển từ Web con người duyệt sang Web AI làm trung gian, khả năng của một hệ thống thông tin công cộng được máy móc đọc một cách tự do, hàng loạt và giá rẻ sẽ trở thành lợi thế cạnh tranh.

Ngày nay, một phần đáng kể của ngành công nghiệp theo quán tính coi lưu lượng truy cập bot là chi phí hoặc mối đe dọa.

Tôi cho rằng đối với các nguồn kiến thức công cộng, một phần lưu lượng truy cập này sẽ trở thành kênh phân phối.

Do đó, một cửa sổ cơ hội xuất hiện.

Trong khi các chủ sở hữu nội dung khác đang đặt câu hỏi:

Làm cách nào để cấm AI lấy nội dung của tôi?

Tôi muốn kiểm tra câu hỏi ngược lại:

Điều gì xảy ra nếu bạn biến kho tri thức của mình thành một trong những nơi thuận tiện nhất cho một AI muốn tìm hiểu về lĩnh vực của bạn?

Có thể không có chuyện gì xảy ra.

Có thể các nền tảng AI sẽ xây dựng các cơ chế thu nhận kiến thức hoàn toàn khác.

Có thể các nhà xuất bản thực sự sẽ đóng cửa và một nền kinh tế cấp phép sẽ xuất hiện.

Có thể các crawler của ngày hôm nay sẽ biến mất hoàn toàn sau một năm nữa.

Đây là một thử nghiệm, không phải là một sự thật đã được thiết lập.

Nhưng lựa chọn của tôi cho tháng 8 năm 2026 rất đơn giản:

Nếu máy móc đang trở thành giao diện mới của con người với internet, việc chiến đấu với mọi cỗ máy chỉ vì nó là máy móc có lẽ là một trong những thói quen cuối cùng của Web đang lụi tàn.

Và tôi có ý thức đặt cược vào chiều ngược lại:

Đối với kiến thức công cộng, tính cởi mở sẽ lại trở thành lợi thế.