這個(gè)片段的出處是哪兒？這種問(wèn)題就像是手撓不到后背的癢。

大部分時(shí)候，遇到這樣的情況，你可以做的就是把視頻里的金句摘出來(lái)，用文字去網(wǎng)上問(wèn)。不然，就截圖去搜索引擎或者視頻平臺(tái)上搜。兩者的前提都是把你看到的視頻片段再降些維度，抽象成更簡(jiǎn)單的東西。但如果碰上冷門的視頻或者視頻中的語(yǔ)言你無(wú)法聽(tīng)懂，難題就來(lái)了。

所以，能不能直接用視頻搜視頻呢？

文字搜萬(wàn)物

目前來(lái)看，人們討論的“視頻搜索”更多依托于傳統(tǒng)的輸入文字完成搜索的模式。

抖音方面此前表示，抖音搜索在技術(shù)上會(huì)重點(diǎn)關(guān)注多模態(tài)信號(hào)補(bǔ)充，基于此，有兩項(xiàng)技術(shù)在輔佐著這種傳統(tǒng)意義上的視頻搜索的精確性——OCR（光學(xué)文字識(shí)別）和ASR（語(yǔ)音識(shí)別）。

OCR全稱Optical Character Recognition，直白點(diǎn)說(shuō)就是能把圖像中的（換到視頻就是其中某幾楨）出現(xiàn)的文字識(shí)別出來(lái)。路況監(jiān)控讀取車牌，拍照上傳銀行卡面讀取卡號(hào)都是這項(xiàng)技術(shù)的日常應(yīng)用。目前常用的OCR庫(kù)有Google的開(kāi)源項(xiàng)目tesseract以及微軟提供API的Azure。在國(guó)內(nèi)機(jī)器學(xué)習(xí)技術(shù)頂尖的百度也在去年開(kāi)源了自己的OCR庫(kù)PaddleOCR。

ASR（Automatic Speech Recognition）則與OCR對(duì)應(yīng)，可以用于將視頻內(nèi)容中的語(yǔ)音內(nèi)容提取出來(lái)，成為被檢索的標(biāo)記。SIRI與微信語(yǔ)音轉(zhuǎn)文字都是這項(xiàng)技術(shù)的應(yīng)用。

但這兩項(xiàng)技術(shù)實(shí)際上只能完成最淺的視頻搜索情景，它們的基礎(chǔ)是“我知道我要看的東西叫什么”，并且最好視頻本身已經(jīng)預(yù)制了文本標(biāo)簽。

如果只是依靠OCR與ASR技術(shù)，同樣的一只老虎在理論上需要脖子上掛一塊牌子寫(xiě)著“老虎”才能被搜索出來(lái)。并且很可能脖子上寫(xiě)的是“我不是老虎”的那些，也會(huì)出現(xiàn)在搜索結(jié)果里。

但比如我想要搜索電影《機(jī)器人總動(dòng)員》里的“瓦力”，又不知道電影和機(jī)器人的名字，我可能就只能搜“長(zhǎng)得一個(gè)垃圾桶的機(jī)器人”，然后期待茫茫人海中有人給“瓦力”標(biāo)記“垃圾桶”，之后托付給偉大的機(jī)器學(xué)習(xí)。

而它仍然很有可能把天行者盧克身邊的R2-D2推給我。

其實(shí)谷歌在2022年就已經(jīng)對(duì)視頻搜索技術(shù)做了推進(jìn)。

當(dāng)時(shí)的Google Cloud Next云端大會(huì)上，谷歌公開(kāi)了一個(gè)基于深度機(jī)器學(xué)習(xí)的視頻技術(shù)應(yīng)用Cloud Video Intelligence API。當(dāng)時(shí)的谷歌副總裁李飛飛現(xiàn)場(chǎng)演示了谷歌在深度機(jī)器學(xué)習(xí)的基礎(chǔ)上，已經(jīng)可以做到在視頻中精確定位某個(gè)客體出現(xiàn)的時(shí)間。

這項(xiàng)技術(shù)在視頻搜索上的意義是可以將純粹的圖像信息進(jìn)行歸類，讓它們可以被檢索。比如搜索“老虎”，在視頻資料庫(kù)中所有與老虎相關(guān)的視頻都會(huì)被標(biāo)記并且按相關(guān)程度列出。這項(xiàng)技術(shù)解決了搜索過(guò)程中只能將一切轉(zhuǎn)化為文字再進(jìn)行機(jī)器學(xué)習(xí)或者匹配的一般邏輯，李飛飛也視其為“黑暗中為數(shù)字世界點(diǎn)燃一盞燭光”。

同樣是2022年，阿里文娛和達(dá)摩院在視頻搜索上也進(jìn)行了關(guān)于語(yǔ)言、語(yǔ)音等多模態(tài)視頻搜索的實(shí)踐。其中一個(gè)技術(shù)方案是利用人臉識(shí)別的技術(shù)，識(shí)別出視頻中出現(xiàn)的人物如黃子韜、易烊千璽，“再通過(guò) OCR/ASR 技術(shù)，識(shí)別各視頻中的對(duì)話內(nèi)容并轉(zhuǎn)化成文本，然后基于文本去做結(jié)構(gòu)化理解”。

2022年事情又往前推進(jìn)了一步。谷歌開(kāi)始嘗試在涉及Youtube的英文視頻搜索中直接顯示視頻中段的相關(guān)內(nèi)容。Engadget的報(bào)道稱，這意味著如果你要搜索某支曲子，搜索結(jié)果會(huì)顯示某場(chǎng)包含這首曲子的音樂(lè)會(huì)，并且進(jìn)度條直接拉到這首曲子的位置。

但這項(xiàng)技術(shù)目前仍然依賴上傳者在視頻中手動(dòng)添加時(shí)間標(biāo)記。并且這樣的技術(shù)本質(zhì)上仍然是將其他模態(tài)形式的信息轉(zhuǎn)譯成文本，并沒(méi)有動(dòng)搖傳統(tǒng)搜索模式以文字輸入為基礎(chǔ)的基本形態(tài)。

丟掉文字，視頻搜視頻？

回到開(kāi)頭的問(wèn)題，我如果手頭上只有一個(gè)視頻片段，要怎么搜索呢？依賴文字輸入的搜索功能并不能完成這個(gè)任務(wù)。這時(shí)候只能以視頻搜索視頻。

現(xiàn)實(shí)的情況是，把一整個(gè)視頻作為搜索依據(jù)還有點(diǎn)難，不過(guò)可以將視頻定格在某一楨，而這其實(shí)就是現(xiàn)在已經(jīng)隨處可見(jiàn)的圖片搜索。

圖片搜索最早要追溯到28年前。

1992年，日本學(xué)者T.Kato在一篇論文里首次提出了基于內(nèi)容的圖像檢索（CBIR）概念。CBIR技術(shù)通俗來(lái)說(shuō)是一種匹配技術(shù)。在輸入一個(gè)樣本圖片文件時(shí)，將圖像中的色彩（顏色直方圖、顏色一致性矢量等參數(shù)）、形狀（面積、曲率等）和紋理等信息進(jìn)行特征提取，進(jìn)行編碼，然后將圖像編碼放到信息庫(kù)中去尋找相似圖像。

基于此，IBM Aimaden研究中心開(kāi)發(fā)了第一個(gè)商用的CBIR系統(tǒng)QBIC。谷歌也在2001年推出了圖片搜索服務(wù)。而在精確度方面的發(fā)展，則托付給了深度學(xué)習(xí)技術(shù)。

抖音在2022年曾推出過(guò)抖音識(shí)圖的功能，用戶可以通過(guò)這個(gè)功能搜索到一則短視頻中出現(xiàn)人物的所有抖音視頻。但抖音推出識(shí)圖功能的主要?jiǎng)恿€是其在電商方面的潛力。利用這項(xiàng)技術(shù)，抖音博主自己帶貨的衣服可以直接被識(shí)別出來(lái)鏈接到商品，節(jié)約了中間更多的跳轉(zhuǎn)步驟。

而在2022年，阿里巴巴淘系技術(shù)部與北京大學(xué)前沿計(jì)算研究中心CVDA實(shí)驗(yàn)室、英國(guó)愛(ài)丁堡大學(xué)等合作，正式開(kāi)源業(yè)界首個(gè)大規(guī)模的多模態(tài)直播服飾檢索數(shù)據(jù)集（Watch and Buy）。借助PixelAI 商品識(shí)別算法，商品的圖片識(shí)別已經(jīng)可以被應(yīng)用在直播環(huán)境中。

但圖片搜索所面臨的風(fēng)險(xiǎn)也高于文字，美國(guó)媒體DIGITAL TREND在抖音識(shí)圖上線后不久就表示出對(duì)于私人視頻信息安全的質(zhì)疑，而這個(gè)實(shí)驗(yàn)性的功能目前也已經(jīng)從抖音的側(cè)欄里下線。

不過(guò)，這些技術(shù)已經(jīng)基本能滿足大多數(shù)的視頻搜索需求?？梢钥闯觯壳暗乃阉鬟壿嫸际菑牡途S到高維（文字搜圖片，圖片搜視頻），在各種媒介形式中，視頻是復(fù)雜程度最高的。另一方面，視頻形式對(duì)于用戶來(lái)說(shuō)完成度太高，把所有東西都揉在一起。如果能通過(guò)搜索功能把與視頻相關(guān)的文字和圖片搜索結(jié)果拆解出來(lái)，這可能才是視頻媒介越來(lái)越成為主流之后，我們對(duì)視頻搜索的期待。

但鑒于在視頻在保存和格式統(tǒng)一上的高門檻，其作為搜索輸入端的價(jià)值不高。并且由于版權(quán)限制，視頻素材未來(lái)會(huì)越來(lái)越被各個(gè)平臺(tái)圈地保護(hù)，這又導(dǎo)致視頻搜索先天性地只能變成某種形式的站內(nèi)搜索，而失去了作為一個(gè)開(kāi)放搜索平臺(tái)的內(nèi)容寬度。

所以無(wú)論怎么看，用視頻搜索內(nèi)容可能仍然是個(gè)遙遠(yuǎn)的事情

作者：油醋

來(lái)源：“品玩”（ID:pinwancool）