谷歌已經在搜索頁面上顯示AI答案，也就是說，搜索用戶不需要前往提供答案的網站，就可以在AI答案中看到網站的內容。面對這一變化，網站只能配合，讓谷歌AI匯總自己的內容 ，因為它們承受不起被谷歌封鎖的代價。

谷歌工具會瀏覽網頁內容，生成AI答案;之前它會追蹤網頁，生成搜索結果，二者本質上是一樣的。如果網站不愿意分享內容，屏蔽谷歌工具，用戶就很難在網上發現網站內容。

新聞出版商面臨挑戰

在搜索領域，谷歌擁有壟斷地位，這種壟斷轉化成了谷歌的AI優勢，搜索創業公司和出版商多有不滿，它們大呼“不公平”。對于出版商來說問題可能更嚴重一些，因為它們被迫做出選擇：要么向AI模型提供內容，AI可能會將它們的網站淘汰;要么從谷歌搜索中消失。

新聞網站Talking Points Memo的負責人Joe Ragazzo說：“出版商面臨外部危機，無論怎么選擇都是糟糕的。如果選擇退出，你馬上就會死;與谷歌合作只是死得慢一些，因為最終谷歌也會拋棄你。”

但是，按照谷歌的說法，AI Overviews工具是谷歌長期承諾的一部分，它希望能為出版商及其它企業提供更有質量的信息和更好的發展機會。

一位谷歌新聞發言人在聲明中表示：“每一天谷歌會通過WEB向網站提供數十億的點擊，我們希望谷歌與網站的長期價值交換可以持續。通過AI Overviews，用戶會發現搜索將變得更實用，然后用戶就會持續回來，搜索更多內容，從而讓內容被發現的機率大大提升。”

生成式AI帶來改變

從谷歌建立那天起，它就用所謂的Googlebot抓取全球網站的內容，建立起龐大的信息內容庫。正是因為索引的存在，其它企業很難挑戰谷歌搜索，即便是財大氣粗的微軟也無法抗衡。

現在生成式AI帶來了新機會，創業公司可以用AI模型向用戶提供更為簡潔的答案。面對新變化，谷歌有些恐慌，它擔心搜索引擎會被淘汰，而在此之前許多人認為搜索引擎不可能出局。如果創業公司提供的AI可以威脅到谷歌業務，那么創業公司也必然會從網絡上抓取內容。

當網站內容被抓取時，成本由持有內容的網站自己承擔，它們要投入金錢、要提供算力、還要存儲內容，所以出版商對于爬蟲抓取有一套自己的規定。只有谷歌、必應受到優待，因為它們能通過搜索引擎給網站引流。

AI創業公司Tako的首席執行官Alex Rosenberg說，作為搜索創業公司，最開始時它們很弱小，無法為網站帶來流量，所以年輕公司必須與出版商達成協議，向它們付費獲取內容授權。

Alex Rosenberg稱：“現在有許多科技公司為內容付費，因為它們需要獲取這些內容，然后才能真正參與競爭。谷歌不一樣，它沒有必要這樣做。”

當媒體公司與AI創業公司達成合作時，旁觀的谷歌實際上并不高興。據知情者稱，谷歌與Reddit達成了價值6000萬美元的內容合作協議，但谷歌向出版商暗示，它對協商沒有什么興趣。

面對強大的谷歌，媒體公司沒有優勢。年初時谷歌推出AI Overviews，媒體公司馬上表達出擔憂，它們擔心網站流量會受到影響，但媒體公司并沒有找到很好的應對方案。

谷歌搜索的綁定策略

谷歌為AI產品準備了特殊爬蟲，Googlebot爬蟲同時為AI Overviews和谷歌搜索服務。一位新聞發言人稱，Googlebot管理著AI Overviews，因為AI與谷歌搜索引擎實際上是深度交互的。谷歌搜索頁面會以多種方式呈現內容，包括圖片。

谷歌說，出版商可以屏蔽特定頁面或者頁面的特定片斷，讓它們不要出現在AI Overviews中，但這樣做也可能會阻止內容出現在谷歌其它搜索功能中。

出版商約有一半的流量來自谷歌搜索，面對屏蔽風險，出版商不敢冒險。

Raptive為出版商和有影響力的人發聲，公司創新主管Marc McCollum認為，谷歌似乎低估了自身決定對內容創作者的威脅，對于那些高度依賴搜索的企業來說，威脅尤其大;一旦選擇退出，創作者在整體搜索中的存在感將會大大降低。

iFixit網站提供消費電子維修指南，網站CEO Kyle Wiens說，相比與其它AI企業的合作，與谷歌的關系更緊張一些。他說：“我可以在不損害業務的情況下禁止ClaudeBot(指AI公司Anthropic的爬蟲)抓取我們的內容，但如果將Googlebot禁了，我們會損失流量和客戶。”

AI搜索創企面臨困難

谷歌與Reddit達成合作，Perplexity也在與Reddit商討內容授權問題，但谷歌設定的價格讓創業公司難以跟進。谷歌說，與Reddit達成的合作意義深遠，并不局限于訓練數據。搜索創業公司Kagi的創始人Vladimir Prelovac說：“如果按谷歌的價格操作，我們要用20年的營收來支付費用。”

即使是實力強大的OpenAI也面臨困難，它推出SearchGPT，相當于搜索版聊天機器人。亞馬遜、Goodreads、Uniqlo全都禁止GPT抓取內容。OpenAI稱，即使網站拒絕提供AI訓練數據，網站內容仍會出現在搜索結果中。

Kagi公司至少有一半的成本來自于搜索數據抓取。擁有詳細的網絡索引是決定搜索引擎強弱的關鍵。Vladimir Prelovac稱，對于那些想用AI直接輸出答案的企業來說，數據顯得更重要。

Vladimir Prelovac稱：“生成式AI模型本身并不聰明，如果你想讓生成式AI輸出高質量內容，必須獲取相同的搜索索引內容。”

搜索創業公司You.com的創始人Richard Socher說，robots.txt文件無處不在，它為抓取制定了規范，文件迫使創業公司做出更謹慎的考慮。由于法律并沒有明確規定，所以企業可以大量抓取公開數據。

Richard Socher稱：“當我們抓取內容時，總是想著不要給網站造成太重負擔。只要是擁有robots.txt文件的網站，如果只讓谷歌抓取，禁止其它企業抓取，本質上就是支持谷歌壟斷搜索。”

Neeva是一家搜索創業公司，它提倡“抓取中立”原則，因為這一原則可以讓創業公司打造自己的搜索索引。iFixit CEO Kyle Wiens認為，如果將谷歌搜索與它的AI產品分開，也許能解決問題。

DuckDuckGo公司認為，搜索正在經歷革命，谷歌索引問題變得越來越重要。該公司高管Kamyl Bazbaz說：“在生成式AI時代，搜索索引極為重要。”

總之，出版商必須努力掌握自己的命運，不能過度依賴其它任何平臺，包括谷歌。(小刀)