由Android 65K方法数限制引发的思考

ÔÎÄ³ö´¦£º½Ü·ç¾Ó¡£

Ç°ÑÔ

Ã»Ïëµ½£¬65536ÕæµÄºÜÐ¡¡£

Unable to execute dex: method ID not in \[0, 0xffff\]: 65536

PS:±¾ÎÄÖ»ÊÇ´¿Ì½Ë÷Ò»ÏÂÕâ¸ö65KµÄÀ´Ô´£¬½ö´Ë¶øÒÑ¡£

µ½µ×ÊÇ65k»¹ÊÇ64k?

¶¼Ã»´í£¬Í¬Ò»¸öÎÊÌâ£¬²»Í¬µÄËµ·¨¶øÒÑ¡£
65536°´1000ËãµÄ»°£¬ÊÇ65k ~ 65 1000;
65536°´1024ËãµÄ»°£¬ÊÇ64k = 64 1024¡£
ÖØµãÊÇ65536=2^16£¬Çë´ó¼Ò¼Ç×¡Õâ¸öÊý×Ö¡£

Ê±¼äµã

´Ó´ó¼ÒµÄ¾ÀúºÍÕâÆªÎÄÕÂ£º
http://source.android.com/devices/tech/dalvik/dalvik-bytecode.html
À´¿´£¬Õâ¸ö´íÎóÊÇ·¢ÉúÔÚ¹¹½¨Ê±ÆÚ¡£

65536ÊÇÔõÃ´Ëã³öÀ´µÄ£¿

65536ÍøÉÏÖÚËµ·×ç¡£¬ÓÐ¶ÔµÄ£¬ÓÐ²»È«¶ÔµÄ£¬Ò²ÓÐ´íµÄ¡£
ÏÂÃæ½«¸ú×Ù×îÐÂµÄAOSPÔ´ÂëÀ´Ë³ÌÙÃþ¹Ï£¬µ«ÊÇÌ½Ë÷ÎÊÌâ±ØÈ»ÓØ»ØÈßÓà£¬½ö×÷¼ÇÂ¼£¬¶ÁÕß¿ÉÖ±½ÓÌø¹ý¿´½á¹û¡£

1. Ê×ÏÈ£¬²éÕÒDexµÄ½á¹¹¶¨Òå¡£

/*
 * Direct-mapped "header_item" struct.
 */
struct DexHeader {
    u1  magic\[8\];
    u4  checksum;
    u1  signature\[kSHA1DigestLen\];
    u4  fileSize;
    u4  headerSize;
    u4  endianTag;
    u4  linkSize;
    u4  linkOff;
    u4  mapOff;
    u4  stringIdsSize;
    u4  stringIdsOff;
    u4  typeIdsSize;
    u4  typeIdsOff;
    u4  protoIdsSize;
    u4  protoIdsOff;
    u4  fieldIdsSize;
    u4  fieldIdsOff;
    u4  methodIdsSize; // ÕâÀï´æ·ÅÁË·½·¨×Ö¶ÎË÷ÒýµÄ´óÐ¡£¬methodIdsSizeµÄÀàÐÍÎªu4
    u4  methodIdsOff;
    u4  classDefsSize;
    u4  classDefsOff;
    u4  dataSize;
    u4  dataOff;
};

u4µÄÀàÐÍ¶¨ÒåÈçÏÂ£º

/*
 * These match the definitions in the VM specification.
 */
typedef uint8_t             u1;
typedef uint16_t            u2;
typedef uint32_t            u4;
typedef uint64_t            u8;
typedef int8_t              s1;
typedef int16_t             s2;
typedef int32_t             s4;
typedef int64_t             s8;

½øÒ»²½ÍÆ³ö£¬methodIdsSizeµÄÀàÐÍÊÇuint32_t£¬µ«ËüµÄÏÞÖÆÎª2^32 = 65536 * 65536£¬±È65536´óµÄ¶à¡£
ËùÒÔ£¬65k²»ÊÇdexÎÄ¼þ½á¹¹±¾ÉíÏÞÖÆÔì³ÉµÄ¡£
PS£ºDexÎÄ¼þÖÐ´æ´¢·½·¨IDÓÃµÄ²¢²»ÊÇshortÀàÐÍ£¬ÎÞÂÛ×îÐÂµÄDexFile.hÐÂ¶¨ÒåµÄu4ÊÇuint32_t£¬»¹ÊÇÀÏ°æ±¾DexFileÒýÓÃµÄvm/Common.hÀï¶¨ÒåµÄu4ÊÇuint32»òÕßunsigned int£¬¶¼²»ÊÇshortÀàÐÍ£¬ÌØ´ËËµÃ÷¡£

2. DexOptÓÅ»¯Ôì³É£¿

Õâ¸öËµ·¨Ô´×Ô£º

µ±AndroidÏµÍ³Æô¶¯Ò»¸öÓ¦ÓÃµÄÊ±ºò£¬ÓÐÒ»²½ÊÇ¶ÔDex½øÐÐÓÅ»¯£¬Õâ¸ö¹ý³ÌÓÐÒ»¸ö×¨ÃÅµÄ¹¤¾ßÀ´´¦Àí£¬½ÐDexOpt¡£DexOptµÄÖ´ÐÐ¹ý³ÌÊÇÔÚµÚÒ»´Î¼ÓÔØDexÎÄ¼þµÄÊ±ºòÖ´ÐÐµÄ¡£Õâ¸ö¹ý³Ì»áÉú³ÉÒ»¸öODEXÎÄ¼þ£¬¼´Optimised Dex¡£Ö´ÐÐODexµÄÐ§ÂÊ»á±ÈÖ±½ÓÖ´ÐÐDexÎÄ¼þµÄÐ§ÂÊÒª¸ßºÜ¶à¡£µ«ÊÇÔÚÔçÆÚµÄAndroidÏµÍ³ÖÐ£¬DexOptÓÐÒ»¸öÎÊÌâ£¬Ò²¾ÍÊÇÕâÆªÎÄÕÂÏëÒªËµÃ÷²¢½â¾öµÄÎÊÌâ¡£DexOpt»á°ÑÃ¿Ò»¸öÀàµÄ·½·¨id¼ìË÷ÆðÀ´£¬´æÔÚÒ»¸öÁ´±í½á¹¹ÀïÃæ¡£µ«ÊÇÕâ¸öÁ´±íµÄ³¤¶ÈÊÇÓÃÒ»¸öshortÀàÐÍÀ´±£´æµÄ£¬µ¼ÖÂÁË·½·¨idµÄÊýÄ¿²»ÄÜ¹»³¬¹ý65536¸ö¡£µ±Ò»¸öÏîÄ¿×ã¹»´óµÄÊ±ºò£¬ÏÔÈ»Õâ¸ö·½·¨ÊýµÄÉÏÏÞÊÇ²»¹»µÄ¡£¾¡¹ÜÔÚÐÂ°æ±¾µÄAndroidÏµÍ³ÖÐ£¬DexOptÐÞ¸´ÁËÕâ¸öÎÊÌâ£¬µ«ÊÇÎÒÃÇÈÔÈ»ÐèÒª¶ÔÀÏÏµÍ³×ö¼æÈÝ¡£

¼øÓÚÎÒÄÜÁ¦ÓÐÏÞ£¬Ã»ÓÐÕÒµ½Õâ¿éÂß¼¶ÔÓ¦µÄ´úÂë¡£
µ«ÎÒÓÐ¸öÒÉÎÊ£¬Õâ¸öÏÞÖÆÊÇÔÚAndroidÆô¶¯Ò»¸öÓ¦ÓÃµÄÊ±ºò·¢ÉúµÄ£¬µ«´ÓÇ°ÃæµÄ¡°Ê±¼äµã¡±ÕÂ½Ú£¬65kÎÊÌâÊÇÔÚ¹¹½¨µÄÊ±ºò¾Í·¢ÉúÁË£¬»¹Ã»µ½Æô¶¯»òÕßÔËÐÐÕâÒ»²½¡£
ÎÒ²»¸Ò·ñ¶¨ÕâÖÖËµ·¨£¬µ«ËµÃ÷65kÖÁÉÙ»¹ÓÐÆäËûµØ·½ÏÞÖÆ¡£

3. DexMergerµÄ¼ì²â

Ö»ÄÜÔÚdalvikÄ¿Â¼ÏÂËÑË÷¹Ø¼ü×Ö¡±methid ID not in¡±£¬ÔÚDexMerggerÀïÕÒµ½ÁËÅ×³öÒì³£µÄµØ·½£º

/**
 * Combine two dex files into one.
  */
public final class DexMerger {
    private void mergeMethodIds() {
        new IdMerger<MethodId>(idsDefsOut) {
            @Override TableOfContents.Section getSection(TableOfContents tableOfContents) {
                return tableOfContents.methodIds;
            }
            @Override MethodId read(Dex.Section in, IndexMap indexMap, int index) {
                return indexMap.adjust(in.readMethodId());
            }
            @Override void updateIndex(int offset, IndexMap indexMap, int oldIndex, int newIndex) {
                if (newIndex < 0 || newIndex > 0xffff) {
                    throw new DexIndexOverflowException(
                            "method ID not in \[0, 0xffff\]: " + newIndex);
                }
                indexMap.methodIds\[oldIndex\] = (short) newIndex;
            }
            @Override void write(MethodId methodId) {
                methodId.writeTo(idsDefsOut);
            }
        }.mergeSorted();
    }
}

ÕâÀï¶¨ÒåÁËindexMapµÄmethodIdsµÄµ¥ÏîÖµÒªÇ¿×ªshort£¬ËùÒÔÔÚ´æ·ÅÖ®Ç°checkÒ»ÏÂ·¶Î§ÊÇ²»ÊÇ0 ~ 0xffff¡£
ÎÒÃÇ¿´¿´IndexMapµÄ¶¨Òå£º

/**
 * Maps the index offsets from one dex file to those in another. For example, if
 * you have string #5 in the old dex file, its position in the new dex file is
 * {@code strings\[5\]}.
 */
public final class IndexMap {
    private final Dex target;
    public final int\[\] stringIds;
    public final short\[\] typeIds;
    public final short\[\] protoIds;
    public final short\[\] fieldIds;
    public final short\[\] methodIds;
    // ... ...
}

¿´ÉÏÈ¥ÊÇ¶ÔÁË£¬¿ÉÊÇÕâ¸öDexMergerÊÇºÏ²¢Á½¸ödexµÄ£¬Ä¬ÈÏÇé¿öÏÂÎÒÃÇÖ»ÓÐÒ»¸ödexµÄ£¬ÄÇÃ´Õâ¸ö65kÊÇÄÄÀïÏÞÖÆµÄÄØ£¿ÔÙ²é£¡

4. »Ø¹éDexFile

»ù±¾ÉÏÇ°Ãæ»ù±¾ÊÇÒ»¸öÃþ×ÅÊ¯Í·¹ýºÓ¡¢·´¸´ÑéÖ¤ÍøÂçËµ·¨µÄÒ»¸ö¹ý³Ì£¬ËäÈ»»ØÏëÆðÀ´ÉµÉµµÄ£¬µ«ÊÇÕâÖÖ¼ÇÂ¼»¹ÊÇÓÐ±ØÒªµÄ¡£
Ç°Ãæ¿´µ½DexFileµÄ´æ·Å·½·¨Êý´óÐ¡µÄÀàÐÍÊÇuint32£¬µ«ÊÇ¸ù¾ÝºóÃæµÄÅÐ¶Ï£¬ÎÒÃÇÈ·¶¨ÊÇ´ò°üµÄ¹ý³ÌÖÐ²úÉúÁË65kÎÊÌâ£¬ËùÒÔÎÒÃÇµÃ»Ø¹ýÍ·ÀÏÀÏÊµÊµÑÐ¾¿Ò»ÏÂdxµÄ´ò°üÁ÷³Ì¡£
¡ ´Ë´¦Ê¡ÂÔ·ÖÎöÁ÷³Ì5000×Ö ¡
OK£¬ÎÒ°Ñdx´ò°üÉæ¼°µ½Á÷³Ì¼ÇÂ¼ÏÂÀ´£º

// Ô´ÂëÄ¿Â¼£ºdalvik/dx
// Main.java
-> main() -> run() -> runMonoDex()(»òÕßrunMultiDex()) -> writeDex()
// DexFile
-> toDex() -> toDex0()
// MethodIdsSection extends MemberIdsSection extends UniformItemSection extends  Section
-> prepare() -> prepare0() -> orderItems() -> getTooManyMembersMessage()
// Main.java
-> getTooManyIdsErrorMessage()

×îÖÕºüÀêµÄÎ²°ÍÊÇÔÚMemberIdsSectionÂ©³öÀ´ÁË£º

package com.android.dx.dex.file;
import com.android.dex.DexException;
import com.android.dex.DexFormat;
import com.android.dex.DexIndexOverflowException;
import com.android.dx.command.dexer.Main;
import java.util.Formatter;
import java.util.Map;
import java.util.TreeMap;
import java.util.concurrent.atomic.AtomicInteger;
/**
 * Member (field or method) refs list section of a {@code .dex} file.
 */
public abstract class MemberIdsSection extends UniformItemSection {
    /**
     * Constructs an instance. The file offset is initially unknown.
     *
     * @param name {@code null-ok;} the name of this instance, for annotation
     * purposes
     * @param file {@code non-null;} file that this instance is part of
     */
    public MemberIdsSection(String name, DexFile file) {
        super(name, file, 4);
    }
    /** {@inheritDoc} */
    @Override
        protected void orderItems() {
            int idx = 0;
            if (items().size() > DexFormat.MAX_MEMBER_IDX + 1) {
                throw new DexIndexOverflowException(getTooManyMembersMessage());
            }
            for (Object i : items()) {
                ((MemberIdItem) i).setIndex(idx);
                idx++;
            }
        }
    private String getTooManyMembersMessage() {
        Map<String, AtomicInteger> membersByPackage = new TreeMap<String, AtomicInteger>();
        for (Object member : items()) {
            String packageName = ((MemberIdItem) member).getDefiningClass().getPackageName();
            AtomicInteger count = membersByPackage.get(packageName);
            if (count == null) {
                count = new AtomicInteger();
                membersByPackage.put(packageName, count);
            }
            count.incrementAndGet();
        }
        Formatter formatter = new Formatter();
        try {
            String memberType = this instanceof MethodIdsSection ? "method" : "field";
            formatter.format("Too many %s references: %d; max is %d.%n" +
                    Main.getTooManyIdsErrorMessage() + "%n" +
                    "References by package:",
                    memberType, items().size(), DexFormat.MAX_MEMBER_IDX + 1);
            for (Map.Entry<String, AtomicInteger> entry : membersByPackage.entrySet()) {
                formatter.format("%n%6d %s", entry.getValue().get(), entry.getKey());
            }
            return formatter.toString();
        } finally {
            formatter.close();
        }
    }
}

ÀïÃæÓÐÒ»¶Î£º

// Èç¹û·½·¨Êý´óÓÚ0xffff¾ÍÌáÊ¾65k´íÎó
if (items().size() > DexFormat.MAX_MEMBER_IDX + 1) {
    throw new DexIndexOverflowException(getTooManyMembersMessage());
}
// Õâ¸öDexFormat.MAX_MEMBER_IDX¾ÍÊÇ0xFFFF
/**
 * Maximum addressable field or method index.
 * The largest addressable member is 0xffff, in the "instruction formats" spec as field@CCCC or
 * meth@CCCC.
 */
public static final int MAX_MEMBER_IDX = 0xFFFF;

ÖÁ´Ë£¬ÕæÏà´ó°×£¡

5. ¸ù±¾ÔÒò

ÎªÊ²Ã´¶¨ÒåDexFormat.MAX_MEMBER_IDXÎª0xFFFF?
ËäÈ»ÎÒÃÇÕÒµ½ÁË65k±¨´íµÄµØ·½£¬µ«ÊÇÎªÊ²Ã´³ÌÐòÖÐ·½·¨Êý³¬¹ý0xFFFF¾ÍÒª±¨´íÄØ£¿
Í¨¹ýËÑË÷¡±instruction formats¡±, ÎÒ×îÖÕ²éµ½ÁËDalvik VM Bytecode£¬ÕÒµ½×îÐÂµÄ¹Ù·½ËµÃ÷£º
https://source.android.com/devices/tech/dalvik/dalvik-bytecode.html
ÀïÃæËµÃ÷ÁËÉÏÃæµÄ@CCCCµÄ·¶Î§±ØÐëÔÚ0¡«65535Ö®¼ä£¬ÕâÊÇdalvik bytecodeµÄÏÞÖÆ¡£
ËùÒÔ£¬65536ÊÇbytecodeµÄ16Î»ÏÞÖÆËã³öÀ´µÄ£º2^16¡£
PS£ºÒÔÉÏ·ÖÎöµÃµ½ÈºÀïºÜ¶àÅóÓÑµÄÌÖÂÛºÍ°ïÃ¦¡£

6. »Ø¹Ë

ÎÒºÃÏñÃ÷°×ÁËÊ²Ã´£º

65kÎÊÌâÊÇdx´ò°üµ¥¸öDexÊ±±¨µÄ´í£¬ËùÒÔÖ»ÒªÓÃdx´ò°üµ¥¸ödex¾Í¿ÉÄÜÓÐÕâ¸öÎÊÌâ¡£
²»½ö·½·¨Êý£¬×Ö¶ÎÊýÒ²ÓÐ65kÎÊÌâ¡£
Ä¿Ç°À´Ëµ£¬65kÎÊÌâºÍÏµÍ³ÎÞ¹Ø¡£
Ä¿Ç°À´Ëµ£¬65kÎÊÌâºÍartÎÞ¹Ø¡£
¼´Ê¹·Ö°üMultiDex£¬µ±Ö÷DexµÄ·½·¨Êý³¬¹ý65kÒÀÈ»»á±¨´í¡£
MultiDex·½°¸²»ÊÇ´Ó¸ù±¾ÉÏ½â¾öÁË65kÎÊÌâ£¬µ«ÊÇ´ó´ó»º½âÉõÖÁËµ»ù±¾½â¾öÁË65kÎÊÌâ¡£

ÐÂµÄJackÄÜ·ñ½â¾ö65kÎÊÌâ£¿

¾ÝËµJackµÄ·½Ê½°Ñclass´ò°ü³É.jackÎÄ¼þ¡£
ËùÒÔÎÒÈÏÎª£¬Jack¾ß±¸½â¾ö65kÎÊÌâµÄÌõ¼þ£º

´ò°ü£ºÐÂµÄjackÎÄ¼þ¿Ï¶¨ÊÇÅ×ÆúÁËdalvikµÄ¼æÈÝÐÔ£¬ÕâÒ²×¢¶¨ÔÛÃÇÕâÁ½Äê¿ÉÄÜ»¹ÓÃ²»ÁË¡£
ÐéÄâ»ú£ºÍêÈ«²ÉÓÃÐÂµÄARTÐéÄâ»ú£¬°Ñclass×ª»¯³É±¾µØ»úÆ÷Âë£¬¾ÍÄÜ±Ü¿ªdalvik bytecodeµÄ16Î»ÏÞÖÆ¡£
ÉÏÃæÁ½ÌõÊôÓÚ·Ï»°£¬Ëµ°×ÁË£¬ÍêÈ«²»ÓÃdalvikÐéÄâ»úÁË£¬Í¬Ê±Ò²¾ÍÍêÈ«²»ÓÃdxÁË£¬Èç´Ë£¬µ±È»¾Í²»´æÔÚ65kÎÊÌâÁË¡£

ÒÔÉÏ´¿ÊôÎÒ¸öÈËÍÆ²â£¬Ò»ÇÐÒÔ¿ÆÑ§·ÖÎöÎª×¼¡£

Ð¡½á

ÁË½â65kÎÊÌâ²»»á¶Ô¹¤×÷ÓÐÊ²Ã´°ïÖú£¬¹¤×÷Å¼Óö£¬ÂÔ×öÊáÀí£¬×öÒ»×Ü½á£¡