麻省理工學院新創企業透過教導系統承認不確定性來解決 AI 幻覺問題
隨著越來越多的人依賴這些模型來揭露關鍵資訊並做出高風險的決策,與人工智能幻覺相關的風險也在不斷升級。
我們都認識一些人,他們總是一副萬事通的樣子,拒絕承認自己的無知,或是根據在網路上撇下的東西提供可疑的建議。AI 幻覺就像是這樣的朋友,但在這種情況下,這個朋友可能是為您設計癌症治療方案的人。
這就是 Themis AI 介入的原因。這家從麻省理工學院衍生出來的公司,已經達成了一些聽起來概念簡單,但在技術上卻極具挑戰性的目標:教導 AI 系統辨識並承認不確定性。
AI 模型往往過於自信。Themis 的 Capsa 平台提供了現實檢查,幫助模型識別它們何時是在推測,而不是在確定地運作。
Themis AI 於 2021 年由麻省理工學院教授 Daniela Rus 與前研究員 Alexander Amini 和 Elaheh Ahmadi 共同創立,所建立的平台幾乎可與任何 AI 系統整合,在不確定因素導致錯誤之前,就能將其標示出來。
利用 Capsa,AI 學會識別自身資料處理中的模式,這些模式會顯示資訊的混亂、偏差或缺口,而這些條件往往會導致幻覺。
自推出以來,Themis 報導協助電信公司避免昂貴的網路規劃錯誤,協助油氣公司解讀複雜的地震資料,並發表建立聊天機器人的研究,避免自信地捏造事實。
許多人仍未意識到 AI 系統基本上是在做有根據的猜測。隨著這些系統擔負更重要的角色,這些猜測可能會帶來重大後果。Themis AI 引入了一個缺失的元素:自我意識。
Themis AI 解決 AI 幻覺之路
通往 Themis AI 的旅程始於多年前,在麻省理工學院 Rus 教授的實驗室中,研究人員探索了一個核心問題:機器如何才能意識到自身的限制?
2018 年,豐田汽車資助了他們在自動駕駛汽車可靠 AI 方面的工作--在這個行業中,錯誤可能會危及生命。當自動駕駛汽車必須精確偵測行人和道路危險時,這項挑戰尤其嚴峻。
他們的突破來自於能夠識別面部識別系統中的種族和性別偏見的演算法。他們的系統不僅能偵測到偏見,還能透過重新平衡訓練資料來糾正偏見,有效地教導人工智能克服自身的偏見。
到 2021 年,研究團隊展示了這種方法如何改變藥物發現。AI 系統可以評估潛在的藥物,同時強調預測是以可靠的數據為基礎,而不是臆測或完全的幻覺。醫藥公司看到了只追求 AI 有信心的候選藥物的價值,從而節省了時間和資源。
另一個好處適用於運算能力有限的裝置。邊緣裝置通常仰賴較小的模型,其準確度無法與伺服器系統相提並論。Themis 的技術可協助這些本機模型獨立處理大部分的任務,只有在遇到困難時才會尋求伺服器支援。
AI 擁有改善我們生活的無窮潛力,但也伴隨著真正的風險。隨著 AI 融入關鍵基礎建設與決策,辨識不確定性與避免幻覺的能力,可能會被證明是其最具人性與價值的特質。Themis AI 正在幫助模型學習這項重要技能。
另請參閱:糖尿病管理:IBM 和羅氏利用 AI 預測血糖水平
想要向業界領導者瞭解更多關於 AI 和大資料的資訊嗎?看看在阿姆斯特丹、加州和倫敦舉行的 AI & Big Data Expo。該綜合活動與其他領先活動同地舉行,包括智慧自動化會議 (Intelligent Automation Conference)、BlockX、數位轉型週 (Digital Transformation Week),以及網路安全與雲端博覽會 (Cyber Security & Cloud Expo)。
在此探索 TechForge 提供的其他即將舉行的企業技術活動和網路研討會。
相關文章
華納音樂收購AI歸因初創公司Sureel AI
華納音樂集團(WMG)於週三確認,其正在收購Sureel AI,一家專注於人工智慧歸因的初創公司。Sureel的專有技術為音樂曲目生成“AI DNA”,將其分解為各個組成部分,以追蹤人工智慧模型如何利用這些元素。透過此次收購,WMG旨在增強其監控其藝術家和詞曲創作者的作品在人工智慧生成內容中被使用或用於訓練人工智慧模型的能力。“將Sureel整合到WMG中,增強了我們的保護、控制和變現能力,確保創意社羣保留對其智慧財產權、姓名、肖像、形象和聲音的控制權,”WMG執行長Robert Kync
亞馬遜推出“Alexa for Shopping”,同時將Rufus邊緣化
亞馬遜推出了“Alexa for Shopping”,將 Rufus 購物聊天機器人 Alexa+ 整合到應用程式、網站和 Echo Show 裝置中。該助手回答產品查詢、比較商品、跟蹤價格,並支援購物提醒。它還處理計劃中的購物操作和符合條件的自動購買。據該公司稱,“Alexa for Shopping”將 Rufus 的產品專業知識與 Alexa+ 的個性化助手上下文相結合。亞馬遜表示,Rufus 在 2025 年協助了超過 3 億客戶進行產品研究、比較和購買。GeekWire 報道稱,
微軟、Azure 與 AI 技術共同對抗加州野火風險
微軟投資於人工智慧驅動的野火偵測技術,其首席副總裁暨首席數據科學家胡安·拉維斯塔·費雷斯(Juan Lavista Ferres)針對減輕環境損害的策略進行了探討。根據美國國家航空暨太空總署(NASA)指出,氣候變遷影響地球上的每個人,其表現為氣溫上升、降雨模式改變以及海平面上升。NASA 指出,有確鑿證據顯示地球正以前所未有的速度變暖,而人類活動是主要驅動因素。隨著全球氣溫上升,野火構成的威脅日
相關專題推薦
評論 (4)
0/500
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!
隨著越來越多的人依賴這些模型來揭露關鍵資訊並做出高風險的決策,與人工智能幻覺相關的風險也在不斷升級。
我們都認識一些人,他們總是一副萬事通的樣子,拒絕承認自己的無知,或是根據在網路上撇下的東西提供可疑的建議。AI 幻覺就像是這樣的朋友,但在這種情況下,這個朋友可能是為您設計癌症治療方案的人。
這就是 Themis AI 介入的原因。這家從麻省理工學院衍生出來的公司,已經達成了一些聽起來概念簡單,但在技術上卻極具挑戰性的目標:教導 AI 系統辨識並承認不確定性。
AI 模型往往過於自信。Themis 的 Capsa 平台提供了現實檢查,幫助模型識別它們何時是在推測,而不是在確定地運作。
Themis AI 於 2021 年由麻省理工學院教授 Daniela Rus 與前研究員 Alexander Amini 和 Elaheh Ahmadi 共同創立,所建立的平台幾乎可與任何 AI 系統整合,在不確定因素導致錯誤之前,就能將其標示出來。
利用 Capsa,AI 學會識別自身資料處理中的模式,這些模式會顯示資訊的混亂、偏差或缺口,而這些條件往往會導致幻覺。
自推出以來,Themis 報導協助電信公司避免昂貴的網路規劃錯誤,協助油氣公司解讀複雜的地震資料,並發表建立聊天機器人的研究,避免自信地捏造事實。
許多人仍未意識到 AI 系統基本上是在做有根據的猜測。隨著這些系統擔負更重要的角色,這些猜測可能會帶來重大後果。Themis AI 引入了一個缺失的元素:自我意識。
Themis AI 解決 AI 幻覺之路
通往 Themis AI 的旅程始於多年前,在麻省理工學院 Rus 教授的實驗室中,研究人員探索了一個核心問題:機器如何才能意識到自身的限制?
2018 年,豐田汽車資助了他們在自動駕駛汽車可靠 AI 方面的工作--在這個行業中,錯誤可能會危及生命。當自動駕駛汽車必須精確偵測行人和道路危險時,這項挑戰尤其嚴峻。
他們的突破來自於能夠識別面部識別系統中的種族和性別偏見的演算法。他們的系統不僅能偵測到偏見,還能透過重新平衡訓練資料來糾正偏見,有效地教導人工智能克服自身的偏見。
到 2021 年,研究團隊展示了這種方法如何改變藥物發現。AI 系統可以評估潛在的藥物,同時強調預測是以可靠的數據為基礎,而不是臆測或完全的幻覺。醫藥公司看到了只追求 AI 有信心的候選藥物的價值,從而節省了時間和資源。
另一個好處適用於運算能力有限的裝置。邊緣裝置通常仰賴較小的模型,其準確度無法與伺服器系統相提並論。Themis 的技術可協助這些本機模型獨立處理大部分的任務,只有在遇到困難時才會尋求伺服器支援。
AI 擁有改善我們生活的無窮潛力,但也伴隨著真正的風險。隨著 AI 融入關鍵基礎建設與決策,辨識不確定性與避免幻覺的能力,可能會被證明是其最具人性與價值的特質。Themis AI 正在幫助模型學習這項重要技能。
另請參閱:糖尿病管理:IBM 和羅氏利用 AI 預測血糖水平
想要向業界領導者瞭解更多關於 AI 和大資料的資訊嗎?看看在阿姆斯特丹、加州和倫敦舉行的 AI & Big Data Expo。該綜合活動與其他領先活動同地舉行,包括智慧自動化會議 (Intelligent Automation Conference)、BlockX、數位轉型週 (Digital Transformation Week),以及網路安全與雲端博覽會 (Cyber Security & Cloud Expo)。
在此探索 TechForge 提供的其他即將舉行的企業技術活動和網路研討會。
華納音樂收購AI歸因初創公司Sureel AI
華納音樂集團(WMG)於週三確認,其正在收購Sureel AI,一家專注於人工智慧歸因的初創公司。Sureel的專有技術為音樂曲目生成“AI DNA”,將其分解為各個組成部分,以追蹤人工智慧模型如何利用這些元素。透過此次收購,WMG旨在增強其監控其藝術家和詞曲創作者的作品在人工智慧生成內容中被使用或用於訓練人工智慧模型的能力。“將Sureel整合到WMG中,增強了我們的保護、控制和變現能力,確保創意社羣保留對其智慧財產權、姓名、肖像、形象和聲音的控制權,”WMG執行長Robert Kync
微軟、Azure 與 AI 技術共同對抗加州野火風險
微軟投資於人工智慧驅動的野火偵測技術,其首席副總裁暨首席數據科學家胡安·拉維斯塔·費雷斯(Juan Lavista Ferres)針對減輕環境損害的策略進行了探討。根據美國國家航空暨太空總署(NASA)指出,氣候變遷影響地球上的每個人,其表現為氣溫上升、降雨模式改變以及海平面上升。NASA 指出,有確鑿證據顯示地球正以前所未有的速度變暖,而人類活動是主要驅動因素。隨著全球氣溫上升,野火構成的威脅日
I was totally shocked by this MIT startup’s idea of teaching AI systems to admit uncertainty instead of fabricating answers, it’s like giving robots a sense of self-awareness. I wonder if this approach can really cut down the misinformation spreading on social media these days.
Just read this and wow, the 'know-it-all' analogy hits home. We've all been there where the system is confidently wrong. Teaching AI to say 'I don't know' could be a game-changer for trust in medical or legal advice. Curious about the scalability—is there a performance trade-off? Hope they can make it work at a large scale 🧐.
AIが「分からない」と言えるようになるって、逆に人間らしい進歩かも?🤔 実際、私も職場で『多分』って言える上司の方が信用できるし。でもMITのスタートアップがこれをビジネスにできるって面白い。AIの過信防止って医療や裁判で本当に必要だよね。個人的には、この技術がSNSのデマ拡散防止に使われないか心配だけど…
Diese Startup-Idee aus MIT scheint sehr vielversprechend zu sein. Modelle müssen lernen, Unsicherheiten zuzugeben - genau wie ein vernünftiger Mensch es tun würde 😂. Besonders im Bereich Medizin oder autonomes Fahren, wo fehlerhafte Antworten katastrophal sein können, wird das 'Ich weiß es nicht'-Eingeständnis zu einer lebenswichtigen Funktion. Hoffentlich setzt sich dieser Ansatz bald durch!





首頁






