原文来源:新智元
图片来源:由无界 ai生成
stket框架将先验时空知识纳入多头交叉注意机制中,从而可以学习到更多有代表性的视觉关系表示,在视频图生成基准上大幅领先其他算法。
视频场景图生成(vidsgg)旨在识别视觉场景中的对象并推断它们之间的视觉关系。
该任务不仅需要全面了解分散在整个场景中的每个对象,还需要深入研究它们在时序上的运动和交互。
最近,来自中山大学的研究人员在人工智能顶级期刊ieee t-ip上发表了一篇论文,进行了相关任务的探索并发现:每对物体组合及其它们之间的关系在每个图像内具有空间共现相关性,并且在不同图像之间具有时间一致性/转换相关性。
论文链接:https://arxiv.org/abs/2309.13237
基于这些先验知识,研究人员提出了一种基于时空知识嵌入的transformer(stket)将先验时空知识纳入多头交叉注意机制中,从而学习更多有代表性的视觉关系表示。
具体来说,首先以统计方式学习空间共现和时间转换相关性;然后,设计了时空知识嵌入层对视觉表示与知识之间的交互进行充分探索,分别生成空间和时间知识嵌入的视觉关系表示;最后,作者聚合这些特征,以预测最终的语义标签及其视觉关系。
大量实验表明,文中提出的框架大幅优于当前竞争算法。目前,该论文已经被接收。
论文概述
随着场景理解领域的快速发展,许多研究者们开始尝试利用各种框架解决场景图生成(scene graph generation, sgg)任务,并已取得了不俗的进展。
但是,这些方法往往只考虑单张图像的情况,忽略了时序中存在着的大量的上下文信息,导致现有大部分场景图生成算法在无法准确地识别所给定的视频中包含的动态视觉关系。
因此,许多研究者致力于开发视频场景图生成(video scene graph generation, vidsgg)算法来解决这个问题。
目前的工作主要关注从空间和时间角度聚合对象级视觉信息,以学习对应的视觉关系表示。
然而,由于各类物体与交互动作的视觉外表方差大以及视频收集所导致的视觉关系显著的长尾分布,单纯的仅用视觉信息容易导致模型预测错误的视觉关系。
针对上述问题,研究人员做了以下两方面的工作:
首先,提出挖掘训练样本中包含的先验时空知识用以促进视频场景图生成领域。其中,先验时空知识包括:
1)空间共现相关性:某些对象类别之间的关系倾向于特定的交互。
2)时间一致性/转换相关性:给定对的关系在连续视频剪辑中往往是一致的,或者很有可能转换到另一个特定关系。
其次,提出了一种新颖的基于时空知识嵌入的transformer(spatial-temporal knowledge-embedded transformer, stket)框架。
该框架将先验时空知识纳入多头交叉注意机制中,从而学习更多有代表性的视觉关系表示。根据在测试基准上得到的...
查看更多与“视频场景图生成任务新SOTA!中山大学提出全新时空知识嵌入框架,登顶刊TIP'24”相关的文章
今年由于疫情的影响,全国所有的学校已经延期开学好长一段时间了,虽然说学生们一直在家进行线上学习,但是其学习效率远远低于线下学习。对于高三年级的学生来说,虽然今年高考延期一个月举行,但是现在距离高考还有不到十天的时间了,高考之后还要进行一件重要的事情,那就是填报志愿,相信很多考生在填报志愿之前都会参考一些大学排名资料来了解自己理想院校的情况。在2020中国综合类百强大学排名中,山东大学位居第九,中山大学排名第十。
山东大学
山东大学简称山大,位列世界一流大学建设高校(a类)、985工程、211工程。山东大学办校历史悠久,山东大学是中国近代高等教育的起源性大学,其主体是1901年创办的山东大学堂,是继京师大学堂之后中国创办的第二所国立大学,也是中国第一所按章程办学的大学,学校先后历经了国立山东大学等历史发展时期。2000年7月,由原山东大学、原山东医科大学、原山东工业大学合并组建新的山东大学。
在师资力量方面,山东大学拥有在职教职工7493人(不含附属医院),共有教授1246人,博士生导师897人,其中有中国科学院和工程院院士9人,双聘院士63人,终身教授8人、泰山学者特聘教授(专家)108人。在学科建设方面,山东大学拥有妇产科学、产业经济学、科学社会主义与国际共产主义运动、中国古代史、微生物学等14个二级学科国家重点学科。
中山大学
中山大学简称“中大”,位于广东省广州市,是教育部、国家国防科技工业局和广东省共建的综合性全国重点大学,位列首批国家“双一流”a类、“985工程”、“211工程”。中山大学既是国家大学生文化素质教育基地、国家创新人才培养示范基地和国家国际科技合作基地,也是中国高校行星科学联盟、粤港澳高校联盟、粤港澳大湾区物流与供应链创新联盟成员高校。
在师资力量方面,中山大学有专任教师4028人,博士生导师2687人,具有正高级职称1655人,具有副高职称1643人,其中有优秀青年科学基金获得者73人,享受政府特殊津贴专家134人。在学科建设方面,中山大学设有51个博士学位授权一级学科点,1个博士学位授权二级学科点(不含一级学科覆盖点),59个硕士学位授权一级学科点,4个博士专业学位类别和45个博士后科研流动站。
目前我国共拥有39所985工程大学,在这些大学中有一大半都是综合类院校。山东省和广东省都是我国的高考大省、高考强省和教育强省。山东省和广东省都拥有多所实力强的211双一流大学,在这次中国综合类大学排名中,山东省第一高校山东大学位居第九,广东省第一高校中山大学排名第十。
与“2020山东大学排名在第几?中山大学紧随其后,山东大学拥有14个二级学科国家重点学科”相关的文章
中山大学作为一所百年老校,是国家“双一流”a类、“985工程”、“211工程”高校。该校更是在2019年排名挺进全国第10名。今天小编将为大家介绍中山大学的独立学院——新华学院。看看中山大学新华学院怎么样好不好是几本?学院的口碑如何?一年学费多少钱?接下来小编将为大家一一揭秘。
中山大学作为中国南方科学研究、文化学术与人才培养的重镇,是由孙中山先生创办,位列首批国家“双一流”a类、“985工程”、“211工程”,入选“珠峰计划”、“111计划”、“2011计划”等,目前已经成为了一所国内一流、国际知名的现代综合性大学,在第四轮全国学科水平评估中,学校50个学科参评,a类学科数(a+、a、a-)14个。省内排名第一,全国最新排名挺进前十。综合实力强大!
接下来,小编再为大家介绍一下中山大学新华学院。该学院是一所综合性全日制普通高等院校,是中国医学数字教育项目示范基地学校。该学院创办于2005年,并正式开始招生,至今共有在校生2.3万余人。学校秉承母体学校中山大学的优良办学传统和理念,建校至今始终坚持社会主义办学方向,坚持以社会人才需求为导向,培养具有优秀思想品格、良好人文修养、自主创新意识、扎实理论基础和较强操作能力的“德才兼备,知行合一”的高素质应用型人才。坚持“质量立校、学术强校、特色兴校、开放办校”,争取建成位居全国同类学校前列的应用型、开放性、多科性的现代化高等学校。
根据中山大学新华学院招生办最新公布的信息可知,该学院在广东省属于本科批次招生,因此我们通常认为中山大学新华学院是本科大学。不过具体的还要根据该校在各省的招生批次来判定是几本。
作为一所涵盖经济学、法学、教育学、文学、理学、工学、医学、管理学、艺术学等学科的综合性全日制普通高等院校,现共设有19个二级教学单位,46个专业。其中公共管理学科、医学技术学科分别获批省级特色重点学科和省级重点培育学科。听力与言语康复学是省级特色专业。 新华学院作为中山大学的独立学院,依托着母体学校中山大学优质的教学资源,位于广州市天河区,自然环境优美,山水相映生辉,是学习深造的理想胜地。而且学校教学设施齐备,与中山大学实现校园网互联、图书资料等信息资源共享。目前建有经管、文法、理工、医药和艺术五大实验实训平台,包含fab-lab创客实验室、医学护理实验室等129间实验室。学院现有专任教师996人,外聘教师244人,其中专任教师具有高级职称者占30.5%,具有硕士研究生及以上学历者占83%,还特别聘请了首席教授、学科带头人若干人。
除此之外,学院还积极的与29所中国以外的学校或学术机构建立了合作交流关系,比如美国索尔兹伯里大学、拿撒勒大学、印第安纳波利斯孔子学院、旧金山大学、加州东华医院等,还与两百多家政府机构、事业单位、企业等共建校外实践基地,为高素质应用型人才培养提供实验、实践、实训的基地与平台。
作为一所民办学院,学费比...
查看更多与“中山大学新华学院怎么样?资源都有哪些,学费贵吗”相关的文章
中山大学由孙中山先生创办,有着一百多年办学传统,是中国南方科学研究、文化学术与人才培养的重镇(中山大学2019年本科招生简章 医学类专业只录取填报志愿考生)。作为中国教育部直属高校,通过部省共建,中山大学已经成为一所国内一流、国际知名的现代综合性大学。现由广州校区、珠海校区、深圳校区三个校区、五个校园及八家附属医院组成。中山大学正在向世界一流大学迈进,努力成为全球学术重镇(2019广东高考填报志愿时间 广东高考志愿填报系统入口网址)。
那么中山大学的优势专业都有哪些,下面小编整理出中山大学最好专业排行榜:
中山大学专业排行榜
1 临床医学专业
中山大学的临床医学专业不错,推荐就读指数为4.8[满分5.0]。下面是临床医学专业的详细介绍:
专业介绍:临床医学专业是一门实践性很强的应用科学专业。它致力于培养具备基础医学、临床医学的基本理论和医疗预防的基本技能;能在医疗卫生单位、医学科研等部门从事医疗及预防、医学科研等方面工作的医学高级专门人才。
就业前景:目前绝大多数医院的发展重点不在扩大规模而是以急需的、具备一定资历的专业人才为主,大量接收毕业生的状况将不存在.因此,临床医学专业毕业生就业的难度越来越大。
2 金融学专业
中山大学的金融学专业不错,推荐就读指数为4.7[满分5.0]。下面是金融学专业的详细介绍:
培养目标:本专业培养具备金融学方面的理论知识和业务技能,能在银行、证券、投资、保险及其他经济管理部门和企业从事相关工作的专门人才。
就业方向:从近几年就业情况来看,金融学专业毕业生就业主要面向银行及金融系统。除了商业银行、股份制商行、外资银行驻国内分支机构以外,还有几大主要去向:中央(人民)银行、银行业监督管理委员会、证券业监督管理委员会、保险业监督管理委员会;证券公司(含基金管理公司)、信托投资公司、金融控股集团等风险性很大的金融公司;四大会计师事务所、四大资产管理公司、金融租赁、担保公司等;保险公司、保险经纪公司;社保基金管理中心或社保局;上市(欲上市)股份公司证券部、财务部、证券事务代表等;国家公务员序列的政府行政机构如财政、审计、海关部门等。
3 经济学专业
中山大学的经济学专业不错,推荐就读指数为4.7[满分5.0]。下面是经济学专业的详细介绍:
专业介绍:经济学是现代的一个独立学科,是关于经济发展规律的科学。从1776年亚当·斯密的《国富论》开始奠基,现代经济学经历了200多年的发展,已经有宏观经济学、微观经济学、政治经济学等众多专业方向,并应用于各垂直领域,指导人类财富积累与创造。
就业方向:经济学毕业生就业面非常广,适合在政府机构、金融机构、高等学校、大中型企业,从事政策分析、教学研究、经济管理、营销等工作,也适合自主创业。如果具有相关的专业资格认证,则就业层次相对较高。另外,名校经济学专业有较高的升研率和出国深造率。
4 会计学专业
中山大学的会计学专业不错...
查看更多与“中山大学优势专业大盘点,中山大学优势专业的就业方向怎么样?”相关的文章
中山大学专业:
微电子学:中山大学微电子专业位列全国前五名。主要课程包括半导体物理相关课程、集成电路相关课程、微电子实验和集成电路工艺实践。就业形势良好,学生的知识满足于信息技术领域的工作。毕业后在微电子及相关领域工作,如科研、教学、科技开发、产管理、行政管理等。
网络工程:中山大学网络工程在全国排名靠前,就业形势良好。主要研究方向是计算机网络工程。主要研究计算机网络的基本理论、基本知识和基本技能和方法。就业方向主要是计算机网络及相关技术和产业领域。
临床医学:中山大学是中国临床实践排名前五的大学。临床医学是医学界最热门的专业,就业前景也很好。主要学科有基础医学和临床医学。毕业生主要从事医疗预防、医学研究等方面的工作,在医疗卫生单位、医学研究等部门工作。
中山大学学校简介:
位于广东省广州、珠海、深圳,始建于1924年。它是中国大陆的一所综合性研究型大学,有着一百多年办学传统,隶属于中华人民共和国教育部,是学术于文华聚集的南方人才高地。前身是1924年孙中山先生创办的广东国立大学。在1926,它被命名为国立中山大学,纪念其创始人孙中山先生,作为中国著名的代表性大学,它有着坚实的人文、社会科学、医学和工程基础,并被称为“华南第一大学”。坚持立德树人根本,坚持中国特色社会主义办学方向。
中山大学学校专业简介:
微电子学、网络工程、临床医学、汉语言文学、软件工程、历史学、预防医学、护理学、行政管理学等。
中山大学学生就业率:
学校引导毕业生为国家服务,不断为经济发展做出成绩和贡献,实现毕业生的高质量就业。超过一半的毕业生选择继续学习。毕业生主要到大学、科研机构、医疗机构和各级党政机关就业。就业率和就业满意度居国内高校首位。
理想的力量是不可估量的。它不仅是一个目标,也是一种希望和动力。生活真的很黑暗,除非有动机;除非有知识,否则所有动机都是盲目的;除非有梦想,否则所有知识都是无用的。因为我们有梦想,我们可以继续前进。
与“中山大学优势专业你知道吗?就业率和就业满意度居国内高校首位”相关的文章
作为“南方一哥”的中山大学,王牌专业都有哪些呢?
中山大学是一所百年高等学府,历史悠久,名师荟萃,是我国南方地区最著名的大学。位列国家“双一流”a类重点建设高校,目前拥有20名院士、全日制学生50764人、本科专业130个、10家直属附属医院。作为一所老牌强校,中山大学全国排名大概第10名左右,但高考录取分数综合排在全国20名之后,是一所超高性价比的学校,值得考生们报考。那中山大学哪些专业比较好呢?
(1)中山大学有27个学科在全国前20%
在2017年教育部学科评估中,中山大学有27个学科评估b+以上,其中a类学科14个,位列全国前列。中山大学在人文社科、理学、管理学、医学等方面学科优势突出,在国内处于领先地位。
(2)中山大学性价比超高
中山大学在全国常年排名第10名左右,但是录取分数相比不是很高,中山大学录取分数排在全国第28位,远远低于其综合实力排名,因此说是一所性价比超高的学校。
(3)中山大学王牌专业盘点
工商管理:中山大学的工商管理专业在教育部第四轮学科评估中是a+,位列全国第一,并是国家“双一流”建设学科,发展较快。提起工商管理专业就不得不提中山大学岭南学院了,岭南学院是我国十大顶尖商学院,在全球也属于优秀商学院,管理学更是其优势学科之一,在华南地区名气很大,就业也非常好。
医学类专业:这里说的不是哪一个专业,说的是一类,中山大学医学类都很强。中山大学医学院前身是中山医科大学,在第四轮学科评估中,基础医学、临床医学、药学评估都达到了a-,位列全国前10%,口腔医学和公共卫生与预防医学评估结果是b+,中山大学护理学评估是b,因此综合来看,中山大学在医学方面没有弱项,每个学科都很强。
理学类专业:中山大学理学方面一直是强项,在教育部学科评估中,生态学学科评估a+,全国第一,数学、物理学、化学、生物学四个学科评估结果都是a-,位列全国前10%,实力强大。
与“中山大学优势专业有哪些?国家双一流建设学科”相关的文章