作为一位近距离目睹过痴呆症的人,我深知这种疾病有多么毁灭性。它剥夺了患者的人格与能力,对护理者来说管理起来极其艰难。他们不能只是让老人坐在电视机前并确保他们服药,还必须确保他们不摔倒、防范他们遭遇诈骗和欺诈、应对性格变化、监视他们不四处游走,以及处理其他一系列问题。这无异于照看一个幼儿。
在我们当前的社会中,挑战更为严峻。几十年前,子女可能和年迈的父母住在同一个城市。如今,他们更可能在地理上分布各处,所以当父母开始出现认知障碍迹象时,能够提供帮助的子女往往身处国家的另一端。这意味着要么让父母搬迁——这对痴呆症患者本身就是一件令人迷失的挑战——要么将亲人安置在辅助生活或记忆护理机构。
而这些机构每月很容易花费1万美元甚至更多。
AI 来救援
如果你能在亲人家里放置一个设备,让 AI 监控他们、确保他们服药,并在他们摔倒时呼救,那岂不是很好?
最近在 Reddit 的一个痴呆症护理子版块上,我注意到有人来自 Guardian Angel AI 的评论,在推广他们的产品。一旦他们发布,将提供由 AI 驱动的摄像头,你可以放置在亲人的家中。这些系统会监控你的亲人(LO),学习他们的习惯和需求,并在诸如跌倒或走失等问题出现时发出警报。它们还可以驱动药物分配器、分析行为模式,并记录历史供临床医生分析。
这是我遇到过的最糟糕的想法之一。
科技兄弟不是护理者
尽管该网站声称是“与老年医学专家和痴呆症专家共同设计”,但网站上没有关于这些医学专业人士是谁的信息。有一个“护理者现场指南”PDF 可供下载,但显然是一堆 AI 生成的垃圾,长达 20 页,描述的是痴呆症症状,而不是如何实施他们的技术。
实际上,整个网站感觉就像是靠提示词生成的。这不像是一个资金充足的医疗保健初创公司,由医学领域的人基于临床经验产生了想法并将其推向市场。相反,它显然是一个技术人员想出了如何制造 AI 产品的点子。从错误的侧重点来接近解决方案。
让我们谈谈一些重要问题。请记住,Guardian Angel 从未说他们有一个呼叫中心的人员来监控警报。一切都是 AI 驱动的。
法律责任
这里的责任状况看起来异常严重,因为 Guardian Angel 将自己定位在消费软件产品、老年护理监控服务和安全/应急系统之间的灰色地带。主页上写着系统“悄悄了解你父母的日常”,并在“确实需要你的时候”提醒家人。这在商业上听起来令人安心,但在法律上却制造了一种期望,即产品能够识别危险的异常情况。
想象一下,该产品了解到一位82岁的老人通常在7:30起床。某天早上她在6:45摔倒,在地上躺了11个小时。家人指控:“我们购买 GuardianAngel 正是为了这种情况不会发生。”这是一个潜在的残酷的过失/产品责任事实模式。
在法庭上,服务条款中“这不是紧急服务”的免责声明并不能神奇地消除实际产品设计、陈述、入门引导以及可预见的对系统依赖所产生的义务。他们的营销越接近于“当你的亲人需要帮助时,我们能注意到”——而这就是主要的营销卖点——依赖性问题就越严重。
监管风险
这里的客户可能是想监控父母的子女,但数据主体不是客户,而是被监控的亲人。如果他们患有痴呆症,他们真的能同意被监控吗?撇开这一点不谈,家庭健康助手、护士、清洁工、孙辈、邻居、快递员和访客呢?他们从未同意。
诚然,很多人家中装有 Ring、Blink 或其他摄像头。但这里有一个转折:我们谈论的是医疗保健数据。
由于所有 AI 对视频和音频的处理,数据不可避免地会经过其他方之手。因此,如果一名护士走进被监控的亲人的家,他或她所做的一切都会被记录下来,并可能发送到某个云服务进行处理和分析。在探访期间,各种信息都会被捕获,包括大量生物特征数据。一些州的法律已经远超 HIPAA 的范围,它们都是关于如何处理医疗保健数据的。华盛顿州的法律被称为“我的健康,我的数据”,这或许能给你一些提示。推断健康模式正是这些法律旨在监管的内容。Guardian Angel 的关于 HIPAA 合规性的声明短得可笑,甚至没有提及此类法律。
安全风险
不用说,如果 Guardian Angel 的系统一旦被攻破,对律师来说就是一个金矿(假设 GA 有任何资产)。视频数据、医疗保健数据和通常的客户数据都集中在一个金包里。而且,额外的好处是,我们讨论的是老年人,他们往往非常容易受到诈骗。
攻击者可能会了解到:老年人何时睡觉、何时独处、护理人员何时到达、家人何时在场、他们是否行动不便、家里有什么物品等等。
这是一款医疗设备,伙计们
他们的网站说:“GuardianAngel AI™ 是不是医疗设备,不应用作专业医疗建议、诊断或治疗的替代品。”如果该产品检测到健康状况恶化或表明需要干预的事件,那听起来肯定像医疗设备。至少,它肯定需要经过法律审查,因为它正处在边缘。
即使它不是,原告的过失案件也会询问安全分析算法是否经过测试。我所说的测试是指按事件类别的敏感性/特异性、假阴性率、假阳性率、置信阈值、不同人群的表现、在移动辅助设备上的测试、跨照明/家庭配置的测试、传感器故障检测、网络故障行为、模型版本验证以及上市后事件监测。GA 开发者真的有这些数据吗?
误报派单
我在网站上找不到它是否与 911/EMS 系统交互。
如果是这样,那是另一项巨大的责任。如果你在凌晨2点向客户发送大量通知,那是给客户添麻烦。如果你在凌晨2点向 911 接线员发送大量通知,那就是完全不同的事情了。
实际上,这是成千上万件不同的事情,因为你必须遵守每个司法管辖区的规则。
简而言之
GuardianAngel 在法律上不应将自己视为“面向家庭的 AI SaaS 公司”。
它应该假定监管机构、保险公司以及最终的原告会将其定性为一家从敏感的家庭行为数据中做出自动化判断的安全关键型老年监控公司。
而这完全是另一个层面的伦理和法律责任及风险敞口。根本问题是,一次假阴性可能引发七位数的过失致死索赔,而一个系统性隐私缺陷则可能同时导致所有安装家庭面临监管或集体诉讼问题。这是严重性风险和规模风险的异常危险组合。
我是不会投资的。
原文链接:https://lowendbox.com/blog/how-to-get-sued-into-oblivion-guardian-angel-ai/
