雷克薩斯高管，“受賄”5000萬？
來源：毒舌科技作者：潘磊雷克薩斯的高管，好像出事了。五六家日本小媒體，突然曝出了一個(gè)與中國市場(chǎng)有關(guān)的大新聞——雷克薩斯中國區(qū)一個(gè)高管受賄10億日元（約合人民幣5000
10 月 29 日消息，科技媒體 marktechpost 于 10 月 24 日發(fā)布博文，報(bào)道稱微軟公司宣布開源 OmniParser，是一款解析和識(shí)別屏幕上可交互圖標(biāo)的AI 工具。
項(xiàng)目背景傳統(tǒng)的自動(dòng)化方法通常依賴于解析 HTML 或視圖層次結(jié)構(gòu)，從而限制了其在非網(wǎng)絡(luò)環(huán)境中的適用性。
而包括 GPT-4V 在內(nèi)的現(xiàn)有的視覺語言模型（VLMs），并不擅長解讀復(fù)雜 GUI 元素，導(dǎo)致動(dòng)作定位不準(zhǔn)確。
項(xiàng)目簡介微軟為了克服這些障礙，推出了 OmniParser，是一種純視覺基礎(chǔ)的工具，旨在填補(bǔ)當(dāng)前屏幕解析技術(shù)中的空白。
該工具并不需要依賴額外的上下文數(shù)據(jù)，可以理解更復(fù)雜的圖形用戶界面（GUI），是智能 GUI 自動(dòng)化領(lǐng)域的一項(xiàng)令人興奮的進(jìn)展。
OmniParser 結(jié)合可交互區(qū)域檢測(cè)模型、圖標(biāo)描述模型和 OCR 模塊等，不需要 HTML 標(biāo)簽或視圖層次結(jié)構(gòu)等顯式基礎(chǔ)數(shù)據(jù)，能夠在桌面、移動(dòng)設(shè)備和網(wǎng)頁等上跨平臺(tái)工作，提高用戶界面的解析準(zhǔn)確性。
OmniParser 除了識(shí)別屏幕上的元素，還能將這些元素轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)。
OmniParser 在多個(gè)基準(zhǔn)測(cè)試中顯示出優(yōu)越的性能。例如，在 ScreenSpot 數(shù)據(jù)集中，其準(zhǔn)確率提高了 73%，顯著超越依賴 HTML 解析的模型。
這一設(shè)計(jì)不僅能生成類似文檔對(duì)象模型（DOM）的結(jié)構(gòu)化表示，還能通過疊加邊界框和功能標(biāo)簽來引導(dǎo)語言模型做出更準(zhǔn)確的用戶動(dòng)作預(yù)測(cè)。
同時(shí)，GPT-4V 在使用 OmniParser 輸出后，圖標(biāo)的正確標(biāo)記率從 70.5% 提升至 93.8%。這些改進(jìn)表明，OmniParser 能夠有效解決當(dāng)前 GUI 交互模型的根本缺陷。
OmniParser 的發(fā)布不僅拓寬了智能體的應(yīng)用范圍，也為開發(fā)者提供了一個(gè)強(qiáng)大的工具，助力創(chuàng)建更智能、更高效的用戶界面驅(qū)動(dòng)智能體。微軟目前已在 Hugging Face 上發(fā)布 OmniParser，普及這一前沿技術(shù)，將進(jìn)一步推動(dòng)多模態(tài) AI 的發(fā)展，特別是在無障礙、自動(dòng)化和智能用戶輔助等領(lǐng)域。
附上參考地址
Microsoft AI Releases OmniParser Model on HuggingFace: A Compact Screen Parsing Module that can Convert UI Screenshots into Structured Elements
Microsoft’s New vision based GUI agent — OmniParser
OmniParser for Pure Vision Based GUI Agent
本文鏈接：http://www.rrqrq.com/showinfo-45-9349-0.html微軟開源 OmniParser 純視覺 GUI 智能體：讓 GPT-4V 秒懂屏幕截圖，可操控手機(jī) 電腦
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：[email protected] 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)