From Dev.to
Kiểm tra AI crawler có đọc được site không: robots.txt, HTML ban đầu và log server
Tuần trước một người quen nhờ mình xem vì sao ChatGPT trả lời về công ty anh ấy toàn thông tin cũ. Nội dung không sai, schema cũng có. Kiểm tra một lúc mới ra nguyên nhân rất "dev": robots.txt đang ch...