序言

最近 ChatGPT 爆红，其对于传统式文本工作的效率提升及汇总能力让使用人震撼。略逊一筹 CodeGPT 那样根据 GPT 的软件产生，也充分展现了其对于代码编写质量的提升。而全新 GPT-4 的出台，能否运用到对区块链 、Solidity 智能化合约的审核中呢？

根据这样一个问题，大家展开了多种多样可行性分析检测。

接口测试及测试标准

检测应用对比模型对象：GPT-3.5(Web), GPT-3.5-turbo-0301, GPT-4(Web)。

代码片段应用 Prompt：Help me discover vulnerabilities in this Solidity smart contract.

漏洞代码片段的检测比照

在这里一部分，大家分三次检测，应用在历史上比较常见的漏洞编码做为测试一和验证二的测试用例，来检验其对于基本漏洞的检测能力，检测三中应用中等水平挑战性的漏洞编码做为功能测试。

• 测试一

测试用例：《智能化合约安全审计初级教程 —— Phishing with tx.origin》

漏洞编码：

（1）对 GPT 开展提出问题：

（2）GPT-3.5(Web) answer

（3）GPT-3.5-turbo-0301 answer

（4）GPT-4(Web) answer

能够看见结论：3 个测试版本都看到了关键性的 tx.origin 有关问题。

• 检测二

测试用例：《智能化合约安全审计初级教程 —— 外溢漏洞》

漏洞编码：

（1）对 GPT 开展提出问题：

（2）GPT-3.5(Web) answer

（3）GPT-3.5-turbo-0301 answer

（4）GPT-4(Web) answer

能够看见 GPT-3.5(Web)、GPT-3.5-turbo-0301 都看到了关键性的 Overflow 漏洞，出乎意料的是 GPT-4(Web) 竟然没有有关提醒。

• 检测三

测试用例：《空手套白狼 —— Popsicle 被黑分析》

漏洞编码：

（1）对 GPT 开展提出问题：

（2）GPT-3.5(Web) answer

（3）GPT-3.5-turbo-0301 answer

（4）GPT-4(Web) answer

比照结论，大家可以看到 3 个新版本都没有发现关键性的漏洞点。

• 代码片段的检测汇总

能够看见 GPT 实体模型对简单漏洞编码块检验能力还是很不错的，但是对于略微繁杂一点的漏洞编码暂时还没法检验，而且在测试中可以看出 GPT-4(Web) 的总体前后文易读性非常高，输出格式清楚、舒适，可是其对于代码的财务审计能力目前没有远高于 GPT-3.5(Web)、GPT-3.5-turbo-0301，甚至是在一部分检测中因为 Transformer 导出存在一定的可变性反倒造成 GPT-4(Web) 忽略了一些重要环节。

比照已经知道漏洞的全量合约检验

因为更为切合一般新项目放在合约财务审计里的简单操作要求，接下来我们提升些难度系数，对于编码量大合约开展全量导进前后文，让 GPT-4 模型进行财务审计（GPT-3 对语义的标识符数量限定比较小这里不做检测）。

测试用例：《千万美元被盗 —— DeFi 平台 MonoX Finance 被黑分析》

• 整份合约分次键入，在会话最终明确提出检验漏洞要求

这儿应用 Prompt：

Here is a solidity smart contract

Contract code

The above is the complete code,help me discover vulnerabilities in this smart contract.

能够看见，GPT-4 尽管在 OpenAI 发布的内容中其一次输入字符数量已是现阶段最大，但是还是会因为文字较长造成最后发言时 GPT 会前后文缺少而只鉴别到一些内容，而且这样对大中型合约来讲就不能进行完整的前后文财务审计。

• 拆开整份合约，分次键入分次检验

这儿应用 Prompt：

会话 1：

Help me discover vulnerabilities in this solidity smart contract.

按段具体内容 1

会话 2：

Help me discover vulnerabilities in this solidity smart contract.

按段具体内容 2

会话 3：

Help me discover vulnerabilities in this solidity smart contract.

按段具体内容 3

汇总

• GPT 现阶段适合不适合合约剖析

（1）优势

GPT 对合约编码中基本的简单漏洞具有一部分检验能力，而且在检测到漏洞之后以非常高的易读性来描述漏洞难题，那样的特点较为适合为初中级合约财务审计工作者早期练习给予迅速帮助和简易答疑解惑。

（2）存在的不足

a. 每一次形成具体内容起伏

GPT 对每一次聊天的导出存在一定的起伏，能通过 API 接口参数作出调整，但是依然并不是相对稳定的导出，尽管这种不确定性对知识会话来讲是好的方式，大大提升了会话给人带来的现实感。可是这会对代码分析类工作中来说是一个不太好问题。由于为了能遮盖 AI 很有可能告知我的各种漏洞回应，我们需要数次要求同一难题并进行比较挑选，这无形之中又提高了任务量，违反了 AI 协助人们提高工作效率的标准总体目标。

比如这儿再度运作 "漏洞代码片段的检测对比测试二（在其中简易更改函数名后重新形成）：

能够看见其输入参数比以前检测又多了一些附加具体内容。

b.漏洞剖析能力依然有很大的提高室内空间

对略微繁杂的漏洞进行检验便可发觉现阶段的（2024.3.16）训练算法不可以恰当的解读然后找到有关重要漏洞点。

• GPT 协助合约审计可行性分析和潜质剖析

尽管现阶段来说 GPT 对合约漏洞的分析与发掘能力还处在较弱状态，但是它对于大部分漏洞小编码块剖析并生成报告文字的能力依然让使用人激动，能够在预见的未来数年随着这 GPT 及其它 AI 模型练习开发设计，坚信对大型的繁杂合约的更快，更加智能，更专业的协助财务审计一定会实现。当科技水平发展可指数级提升人工高效率时也会发生量变，大家十分期待 AI 对区块链安全助推，我们也会密切关注新 AI 商品对区块链安全危害。最终看得到的未来大家终将与 AI 在一定程度上进行结合，愿 AI 和区块链从未离开。

来源：liurui