５月２０日，智慧眼發(fā)布了全球首款支持醫(yī)療領(lǐng)域文本、圖像、視頻和音頻輸入的多模態(tài)大模型“砭石”。

智慧眼創(chuàng)始人、董事長(zhǎng)邱建華介紹：“砭石，是古代的醫(yī)療工具，「醫(yī)源于砭」這句話(huà)出自《山海經(jīng)》，也是智慧眼「砭石」大模型的取名由來(lái)，承載了今天我們對(duì)大模型快速迭代、走向醫(yī)療人工智能的期待。”

在發(fā)布會(huì)現(xiàn)場(chǎng)，邱建華實(shí)測(cè)了砭石的智能問(wèn)診、輔助閱片、面診舌診、生理指標(biāo)預(yù)測(cè)、睡眠監(jiān)測(cè)五大技能，展現(xiàn)了砭石在中西醫(yī)相結(jié)合，多模態(tài)相融合的全新交互體驗(yàn)。

智慧眼成立于２００９年，自成立以來(lái)，一直從事計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、智能大模型、隱私計(jì)算等核心技術(shù)研究，積極推動(dòng)人工智能技術(shù)和行業(yè)應(yīng)用落地，致力于ＡＩ計(jì)算驅(qū)動(dòng)生命健康。

三大創(chuàng)新，創(chuàng)造核心價(jià)值

相較于通用大模型，垂直領(lǐng)域的專(zhuān)業(yè)化大模型需要更多的行業(yè)沉淀、更強(qiáng)的專(zhuān)業(yè)性、更豐富的知識(shí)積累。如何將大模型技術(shù)與具體的應(yīng)用場(chǎng)景相結(jié)合，對(duì)行業(yè)和應(yīng)用場(chǎng)景的理解，以及行業(yè)經(jīng)驗(yàn)、行業(yè)數(shù)據(jù)治理和結(jié)構(gòu)化處理能力提出了較高的要求。

據(jù)悉，“砭石”醫(yī)療大模型采用知識(shí)圖譜與大模型相結(jié)合的技術(shù)路線(xiàn)，克服了僅僅通過(guò)大模型技術(shù)在醫(yī)療領(lǐng)域的信息準(zhǔn)確度低的核心痛點(diǎn)，突破了隱私計(jì)算條件下的大模型聯(lián)邦訓(xùn)練、基于知識(shí)圖譜的大模型知識(shí)增強(qiáng)等核心技術(shù)，同時(shí)能夠?qū)崿F(xiàn)對(duì)問(wèn)診的文本數(shù)據(jù)、醫(yī)療影像數(shù)據(jù)、用戶(hù)的面部體征視頻數(shù)據(jù)和用戶(hù)睡眠音頻數(shù)據(jù)的多模態(tài)處理，實(shí)現(xiàn)醫(yī)療輔助診斷、智能認(rèn)知、健康管理等多樣化的任務(wù)，革新醫(yī)療健康行業(yè)傳統(tǒng)單一任務(wù)的輔助診斷模式，形成核心價(jià)值。

智慧眼介紹，在構(gòu)建砭石大模型的過(guò)程，實(shí)現(xiàn)了以下三方面創(chuàng)新：

一、采用知識(shí)圖譜與大模型相結(jié)合的技術(shù)路線(xiàn)，提升醫(yī)療診斷準(zhǔn)確性。知識(shí)工程和大模型是當(dāng)前實(shí)現(xiàn)認(rèn)知智能的兩個(gè)主要的途徑，兩者各有優(yōu)劣，醫(yī)學(xué)領(lǐng)域非常尊重循證，在醫(yī)療決策中將臨床證據(jù)、個(gè)人經(jīng)驗(yàn)與患者的實(shí)際狀況和意愿三者相結(jié)合。智慧眼通過(guò)在訓(xùn)練過(guò)程中加入知識(shí)圖譜對(duì)訓(xùn)練過(guò)程進(jìn)行知識(shí)增強(qiáng)，結(jié)合ＲＬＨＦ技術(shù)，在５００億參數(shù)條件下比單純使用大模型技術(shù)，醫(yī)學(xué)問(wèn)題回答準(zhǔn)確度提升近１０％。

二、隱私計(jì)算條件下的大模型聯(lián)邦訓(xùn)練，充分釋放高質(zhì)量數(shù)據(jù)要素價(jià)值。高價(jià)值醫(yī)療數(shù)據(jù)都是在醫(yī)院等高價(jià)值行業(yè)用戶(hù)手中，如何實(shí)現(xiàn)這些高價(jià)值用戶(hù)的敏感隱私數(shù)據(jù)的脫敏，真正做到數(shù)據(jù)的“可用不可見(jiàn)”、“數(shù)據(jù)不出域”安全應(yīng)用是極具挑戰(zhàn)性的問(wèn)題。通過(guò)解決保護(hù)隱私的分布式知識(shí)遷移和聯(lián)邦圖譜推理的問(wèn)題，可以實(shí)現(xiàn)分布式數(shù)據(jù)孤島的知識(shí)匯聚，以及基于分布式數(shù)據(jù)的聯(lián)邦大模型訓(xùn)練，支撐了用戶(hù)數(shù)據(jù)價(jià)值的釋放。

三、醫(yī)療領(lǐng)域多模態(tài)視覺(jué)處理技術(shù)，實(shí)現(xiàn)多樣化任務(wù)。砭石醫(yī)療大模型是醫(yī)療領(lǐng)域多模態(tài)生成式預(yù)訓(xùn)練大模型，能夠支持醫(yī)療領(lǐng)域多模態(tài)的輸入，包括醫(yī)療領(lǐng)域文本、圖像、視頻和音頻形式的輸入，具體形式覆蓋智能問(wèn)診，輔助閱片，面診舌診，生理指標(biāo)預(yù)測(cè)，睡眠監(jiān)測(cè)幾個(gè)方面，它的輸出是結(jié)構(gòu)化的文本，包括健康狀態(tài)的簡(jiǎn)要描述、診斷描述和治療建議等，可以方便醫(yī)療機(jī)構(gòu)更好地理解分析，提高了醫(yī)療信息處理的效率和準(zhǔn)確性。

具體來(lái)說(shuō)，在文本方面，輔助醫(yī)生和藥師與患者對(duì)話(huà)；在視頻方面，通過(guò)捕捉人臉表面周期變化由于心臟跳動(dòng)所帶來(lái)的面部變化來(lái)實(shí)現(xiàn)對(duì)心率、呼吸率、心率變異性、血壓、血氧等生理指標(biāo)測(cè)量；在圖片方面，統(tǒng)一范式能夠進(jìn)行高準(zhǔn)確度的醫(yī)學(xué)影像閱片和面診舌診；在音頻方面，實(shí)現(xiàn)基于對(duì)睡眠音頻數(shù)據(jù)的分析來(lái)檢測(cè)用戶(hù)的睡眠情況。

Ｍｏｄｅｌ　ａｓ?。帷。樱澹颍觯椋悖?，賦能每一個(gè)場(chǎng)景

關(guān)于”砭石”的定位，智慧眼稱(chēng)砭石大模型將是醫(yī)療健康垂直領(lǐng)域場(chǎng)景落地的重要底座。在未來(lái)應(yīng)用應(yīng)用方面，智慧眼研究院負(fù)責(zé)人表示，砭石將堅(jiān)持模型即服務(wù)（Ｍｏｄｅｌ?。幔蟆。帷。樱澹颍觯椋悖澹┑睦砟?，以大模型為基礎(chǔ)，在場(chǎng)景化應(yīng)用中快速迭代，將醫(yī)學(xué)人工智能“潤(rùn)物細(xì)無(wú)聲”般銜接醫(yī)療健康的每一個(gè)場(chǎng)景，包含決策支持、醫(yī)?？刭M(fèi)、醫(yī)藥服務(wù)、健康管理、保險(xiǎn)支付等患者服務(wù)全過(guò)程。

微信圖片＿２０２３０５２４１００１４０．ｐｎｇ

賦能基層醫(yī)療，ＡＩ為基層醫(yī)務(wù)人員提供病歷質(zhì)控、輔助診斷、合理用藥、醫(yī)學(xué)知識(shí)檢索等技術(shù)支持，緩解醫(yī)療壓力，提升基層醫(yī)生的醫(yī)技能力，推動(dòng)優(yōu)質(zhì)醫(yī)療資源下沉延伸。

賦能醫(yī)保監(jiān)管，砭石大模型搭建風(fēng)險(xiǎn)控制模型，能夠以更為常態(tài)化、高效精準(zhǔn)的方式挖掘數(shù)據(jù)之下的欺詐騙保行為，通過(guò)對(duì)購(gòu)藥、門(mén)診、健康理療等行為進(jìn)行自動(dòng)化的分析、監(jiān)管和預(yù)警，有效打擊欺詐騙保問(wèn)題，提高醫(yī)?；鹗褂眯?。

賦能慢病管理，基于砭石大模型開(kāi)發(fā)的云慢病患者服務(wù)管理系統(tǒng)，聯(lián)通診前、診中、診后實(shí)現(xiàn)慢病管理的閉環(huán)。

賦能醫(yī)藥鏈條，將“人工智能＋互聯(lián)網(wǎng)”技術(shù)賦能給實(shí)體醫(yī)藥機(jī)構(gòu)，打通醫(yī)療服務(wù)的需求方、服務(wù)方、支付方和藥品提供方，提供診療一站式服務(wù)，并且基于循證醫(yī)學(xué)，將醫(yī)生的經(jīng)驗(yàn)轉(zhuǎn)化為ＡＩａａＳ（ＡＩ　即服務(wù)），貫穿預(yù)防、診斷、治療和康復(fù)的核心環(huán)節(jié)，賦能大健康產(chǎn)業(yè)高質(zhì)量發(fā)展。

注：文章來(lái)源于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系刪除