我校信息工程学院陶海成老师论文“基于多目标强化学习的社区隐藏框架”在《中国科学: 信息科学》发表。
一、 学术期刊介绍
《中国科学: 信息科学》（英文名称: SCIENTIA SINICA Informationis，SSI）是中国科学院和国家自然科学基金委员会共同主办、《中国科学》杂志社出版的学术刊物。期刊力求刊载信息学科领域最高学术水平的中文文章，及时报道计算机科学与技术、控制科学与控制工程、通信与信息系统、微电子与固体电子学等领域基础与应用研究方面的原创性成果，推动信息科学技术发展，搭建理论与技术应用的桥梁，促进与各学科、各行业的交叉融合。
二、 研究背景
复杂网络技术，尤其是基于社区的相关技术，推动了互联网的发展，给人们的生活和学习等带来了诸多好处，但与此同时，也给各种不法分子实施违法行为提供了便利。第43次《中国互联网络发展状态统计报告》显示，2017年国家互联网信息办一共接到网络安全事件投诉103463件，其中个人信息泄露比例为27.1%。2018 年接到网络安全事件报告累计106700件，而个人信息泄露的比例也上涨至 27.3%，成为2018年网民遭遇到的第二大安全事件。在月活跃用户数超过20亿的脸书上，5000万用户信息或被泄露或被第三方公司用大数据分析技术过度挖掘，从而被不法分子利用，进行恶意的营销，甚至被怀疑利用数据预测用户政治倾向，成为间接影响总统大选的隐形黑手。
对社交网络信息过度地挖掘，会暴露个人隐私，包括个人的基本信息、所处的圈子，以及相关的合作伙伴等。针对此类问题，国内外机构相继提出各种保护措施。有算法层面的，其中最经典的是基于差分隐私的数学模型，该模型可以利用有限的网络数据发现特定人群，比如恐怖组织，但同时严格保证了正常人群的数据隐私；也有一些政策层面的，比如微博在 2017 年更新了个人信息保护政策，明确了个人基本信息的收集以及对 Cookie 的使用等；欧盟于 2018 年通过了通用数据保护条例 (GDPR)，明确个人数据必须匿名化进行存储，默认使用最高的隐私设置等。但是，以上所提的保护措施主要针对的是用户的敏感数据，包括用户电话信息、家庭地址信息，以及一些聊天记录，如何从公开数据层面保护用户隐私仍是一个很大的问题，特别是社交网络数据，由于可利用社区发现算法通过用户之间的相连关系推断用户隐私，研究如何不被社区发现算法所追踪，从而隐藏个人所在社区的社交关系，是一个重要问题，目前为止这方面的研究工作非常少。另外，在风险管理领域，低风险的用 户通常与低风险的用户紧密相连，高风险用户与高风险用户紧密相连。不法分子 (高风险的用户) 会利用这种特性，通过与低风险用户构建连接的方式将自己伪装成低风险用户，从而获取大量的经济资源。更有甚者，恐怖组织通过改变网络结构的方式，使得某成员既不会被执法机构通过社区发现算法所追踪，成员之间又能互相取得联系。因此，研究社区隐藏算法具有两方面的意义。一方面，可以通过破坏社区发现算法的有效性起到保护个人隐私的作用，另一方面，由于社区隐藏算法可以作为一种模拟不法分子恶意操控网络结构进行非法活动的模型，构建能对抗社区隐藏算法的社区发现算法能够使得社区发现算法更具健壮性。
三、 研究成果
已有的隐藏社区算法大多是在网络中已存在的点之间进行加边或者减边，但在现实网络中，比如基于facebook的社交网络，期望用户改变与之相关的结构信息 (特别是指定哪些人应该关注，哪些人应该取消关注) 可操作性比较小且代价很大。为此，本文通过在现有网络中增加点及其相关的边，来达到社区隐藏的目的；其次，该方式巧妙地将社区隐藏问题转换为网络的增长问题，继而基于不同的网络增长模型，可研究其在社区隐藏上的不同表现；最后，加点和加边的方式本质上可以描述为一个决策过程，即根据当前网络的结构，选择合适的加点和加边策略，使得最终的指标最大，而这正好契合强化学习的框架。为此，本文针对两种隐藏指标和不同的网络增长模型，提出了基于多目标强化学习的社区隐藏算法。
具体来说，本文所提的算法从增加节点及其相应边的角度出发，即伪造用户及其关系，最大程度降低了对用户的影响，将社区隐藏问题转换为网络增长问题。首先基于ratio association和 ratio cut，提出两种更适合社区隐藏的指标；然后基于强化学习框架，定义动作空间为不同的网络增长模型，将两个指标在多个阶段的一致性策略值作为网络的状态表示，并将指标值作为奖赏值；最后采用两种策略来对指标进行优化，即给每个Q函数赋予权重的标量化多目标Q-learning算法以及基于Pareto最优算法的多目标Q-learning算法。在真实数据集上的大量实验表明，相比于现有最新的社区隐藏算法，本文所提算法展现出更好的有效性。
四、 作者简介
陶海成，讲师，毕业于南京理工大学，现就职于南京财经大学信息工程学院。参与国家自科基金重点项目两项，并主持江苏省高校基础科学（自然科学）面上项目一项。
五、 原文刊发信息
陶海成, 卜湛, 曹杰. 基于多目标强化学习的社区隐藏框架. 中国科学: 信息科学, 2021, 51: 1131–1145, doi: 10.1360/SSI-2020-0229
